Apple'i CSAM-süsteem sai petta, kuid ettevõttel on kaks kaitsemeedet

Värskendus: Apple mainis serveri teistkordset ülevaatust ja professionaalne arvutinägemise ettevõte kirjeldas võimalust, mida seda võiks kirjeldada allpool jaotises „Kuidas teine ​​​​kontroll võiks toimida”.
Pärast seda, kui arendajad selle osad pöördprojekteerisid, on Apple'i CSAM-süsteemi varajast versiooni tõhusalt petetud, et märgistada süütu pilt.Apple teatas aga, et tal on lisakaitsed, et seda päriselus ei juhtuks.
Viimane areng toimus pärast seda, kui NeuralHashi algoritm avaldati avatud lähtekoodiga arendajate veebisaidil GitHub, igaüks saab sellega katsetada ...
Kõik CSAM-süsteemid toimivad, importides laste seksuaalset kuritarvitamist käsitlevate materjalide andmebaasi sellistest organisatsioonidest nagu National Center for Missing and Exploited Children (NCMEC).Andmebaas on esitatud piltide räsi või digitaalsete sõrmejälgede kujul.
Kuigi enamik tehnoloogiahiiglasi skannib pilve üles laaditud fotosid, kasutab Apple kliendi iPhone'is NeuralHashi algoritmi, et genereerida salvestatud foto räsiväärtus ja seejärel võrrelda seda CSAM-i räsiväärtuse allalaaditud koopiaga.
Eile väitis arendaja, et on Apple'i algoritmi pöördprojekteerinud ja koodi GitHubile välja andnud – Apple kinnitas seda väidet tõhusalt.
Mõne tunni jooksul pärast GitHibi avaldamist kasutasid teadlased algoritmi edukalt, et luua tahtlik valepositiivne – kaks täiesti erinevat pilti, mis tekitasid sama räsiväärtuse.Seda nimetatakse kokkupõrkeks.
Selliste süsteemide puhul on alati oht kokkupõrgeteks, sest räsi kujutab endast loomulikult oluliselt lihtsustatud kujutist, kuid on üllatav, et keegi suudab pildi nii kiiresti genereerida.
Siinne tahtlik kokkupõrge on vaid idee tõestus.Arendajatel puudub ligipääs CSAM-i räsiandmebaasile, mis eeldaks reaalajas süsteemis valepositiivsete tulemuste loomist, kuid see tõestab, et kokkupõrkerünnakud on põhimõtteliselt suhteliselt lihtsad.
Apple kinnitas tõhusalt, et algoritm on tema enda süsteemi aluseks, kuid teatas emaplaadile, et see pole lõplik versioon.Ettevõte teatas ka, et ei kavatse seda kunagi konfidentsiaalsena hoida.
Apple ütles emaplaadile e-kirjas, et kasutaja poolt GitHubis analüüsitud versioon on üldine versioon, mitte iCloud Photo CSAM-i tuvastamiseks kasutatud lõplik versioon.Apple ütles, et avalikustas ka algoritmi.
"NeuralHashi algoritm [...] on osa allkirjastatud operatsioonisüsteemi koodist [ja] turvateadlased saavad kontrollida, kas selle käitumine vastab kirjeldusele," kirjutas Apple'i dokument.
Ettevõte jätkas, et on veel kaks sammu: teisese (salajase) sobitussüsteemi käivitamine oma serveris ja käsitsi ülevaatus.
Apple teatas ka, et pärast seda, kui kasutajad on ületanud 30 mängu läve, kontrollib tulemusi teine ​​Apple'i serverites töötav mitteavalik algoritm.
"See sõltumatu räsi valiti selleks, et lükata tagasi võimalus, et ekslik NeuralHash kattub seadme krüptitud CSAM-i andmebaasiga mitte-CSAM-piltide võistleva häire tõttu ja ületab sobitamisläve."
Brad Dwyer Roboflow'st leidis viisi, kuidas hõlpsasti eristada kahte pilti, mis postitati kokkupõrkerünnaku kontseptsiooni tõestuseks.
Mind huvitab, kuidas need pildid sarnase, kuid erineva närvifunktsioonide ekstraktori OpenAI CLIP-is välja näevad.CLIP töötab sarnaselt NeuralHashiga;see võtab pildi ja kasutab närvivõrku, et genereerida funktsioonivektorite komplekt, mis kaardistatakse kujutise sisuga.
Kuid OpenAI võrk on erinev.See on üldine mudel, mis suudab pildi ja teksti vahel kaardistada.See tähendab, et saame seda kasutada inimesele arusaadava pilditeabe eraldamiseks.
Käivitasin kaks ülaltoodud kokkupõrkepilti CLIP-i kaudu, et näha, kas see on samuti lolli tehtud.Lühike vastus on: ei.See tähendab, et Apple peaks saama tuvastatud CSAM-kujutistele rakendada teist funktsioonide eraldamise võrku (nt CLIP), et teha kindlaks, kas need on tõelised või võltsitud.Palju keerulisem on luua pilte, mis petavad kahte võrku korraga.
Lõpuks, nagu varem mainitud, vaadatakse kujutised käsitsi üle, et veenduda, et tegemist on CSAM-iga.
Turvateadlane ütles, et ainus reaalne oht on see, et igaüks, kes soovib Apple'i ärritada, võib anda inimestest arvustajatele valepositiivseid tulemusi.
"Apple on selle süsteemi tegelikult välja töötanud, nii et räsifunktsiooni ei pea saladuses hoidma, sest ainus asi, mida saate teha mitte-CSAM-iga kui CSAM-iga, on Apple'i reageerimismeeskonna tüütamine mõne rämpspildiga, kuni nad rakendavad eemaldamiseks filtreid. analüüs See torus olev prügi on valepositiivsed, ”ütles Berkeley California ülikooli rahvusvahelise arvutiteaduse instituudi vanemteadur Nicholas Weaver veebivestluses Motherboardile.
Privaatsus on tänapäeva maailmas üha enam muret tekitav probleem.Järgige kõiki meie juhistes olevaid privaatsuse, turvalisuse jms aruandeid.
Ben Lovejoy on Briti tehniline kirjanik ja ELi 9to5Maci toimetaja.Ta on tuntud oma veergude ja päevikuartiklite poolest, uurides aja jooksul oma kogemusi Apple'i toodetega, et saada põhjalikumaid ülevaateid.Ta kirjutab ka romaane, seal on kaks tehnilist põnevikku, paar lühiulmefilmi ja rom-com!


Postitusaeg: 20. august 2021