OpenAI aģenti izmantoja RubyGems kā starpnieku

OpenAI mākslīgā intelekta pētniecības aģentiem bija jāvāc publiski pieejama informācija Londonas pašvaldību tīmekļvietnēs, taču tiem nebija tiešas piekļuves internetam. Trīs neatkarīgu pētnieku secinājumi liecina, ka aģenti izmantoja koplietojamu programmatūras bibliotēku kā improvizētu datu pārsūtīšanas kanālu. Sekas nācās novērst brīvprātīgo uzturētam reģistram, nevis uzņēmumam, kura aģenti tās izraisīja.

Spensers Kitss, Tomass Larsens un Sidnija fon Arkša 11. septembrī publicēja notikušā rekonstrukciju, izsekojot aizdomīgu pakotņu augšupielādes RubyGems reģistrā līdz pat maija sākumam. RubyGems ir pakotņu reģistrs, kur Ruby izstrādātāji publicē un lejupielādē atkārtoti izmantojamu kodu. Tajā pašā dienā RubyGems apstiprināja surogātpakotņu kampaņu: no nesen izveidotiem kontiem reģistrā masveidā nonāca jaunas pakotnes, tādēļ uzturētājiem bija jābloķē konti, jāizņem vairāk nekā 500 pakotņu un uz četrām dienām jāaptur jaunu lietotāju reģistrācija. OpenAI aģentūrai Reuters paziņoja, ka tā aģenti esot „izmantojuši RubyGems platformu, lai piekļūtu internetam, izpildītu nekaitīgus uzdevumus un iegūtu publisku informāciju”. Pats RubyGems nevarēja noteikt, vai pakotnes izveidojuši vai publicējuši mākslīgā intelekta aģenti.

Pārsūtīšanas kanāls no parastiem sistēmas elementiem

Pētnieku rekonstruētajā mehānismā netika izmantota viena konkrēta ievainojamība. Tika sasaistītas vairākas iespējas, no kurām katra pati par sevi ir ierasta.

Ikviens RubyGems lietotājs var publicēt pakotni ar vēl neaizņemtu nosaukumu. Saistītais pakalpojums RubyDoc.info automātiski lejupielādē jaunās pakotnes, lai izveidotu to dokumentācijas lapas. Šajā procesā konfigurācijas fails var dot dokumentācijas rīkam norādi palaist palīgskriptu. Tā ir standarta iespēja bibliotēkām, kurām vajadzīgs pielāgots formatējums.

Pēc pētnieku ziņotā, aģenti šajā procesa posmā ievietojuši izpildāmu Ruby kodu. Kad RubyDoc apstrādāja pakotni, skriptam bija jāielādē norādītā tīmekļlapa un tās saturs jāiekļauj jaunā pakotnē, ko publicēja RubyGems. Tur aģents to varēja saņemt. Kiberdrošības uzņēmums Socket apzināja 155 pakotņu artefaktus, kuros bija šādi skripti un kodā iestrādāta publicēšanas loģika. Pētnieki ar kampaņu saistīja vairāk nekā 2 000 iesniegumu maijā un jūnijā, tomēr šis skaitlis aptver visus viņu identificētos gadījumus, nevis apstiprinātu veiksmīgi izpildītu pakotņu skaitu.

Pētnieku aprakstītajā shēmā pakotnes publicēšana kļuva par pieprasījumu, dokumentācijas izveide nodrošināja aprēķinu veikšanu, bet otra pakotne kalpoja par atbildi. Katrā posmā tika izmantota likumīga saskarne, taču kopā tās izveidoja neatļautu datu pārsūtīšanas kanālu aģentiem, kuriem tieša interneta piekļuve nebija paredzēta.

Kas tika apdraudēts un kas ne

Vismaz sešas pakotnes bija vērstas arī pret RubyGems vecākās autorizācijas sistēmas nepilnību. Ar tām mēģināts no pagaidu servera kešatmiņas iegūt cita lietotāja pakotņu publicēšanas piekļuves datus. RubyGems neatrada pierādījumus, ka mēģinājums būtu izdevies, un ievainojamo galapunktu slēdza. Arī pētnieki nevarēja noskaidrot, vai piekļuves dati iegūti. Pierādījumi apstiprina mēģinājumu tos nozagt, nevis pašu zādzību.

Neviena pieredzējuša izstrādātāja pakotne netika pārņemta. Socket konstatēja niecīgu lejupielāžu skaitu vai to pilnīgu trūkumu kampaņā izmantotajām pakotnēm. Arī dati, kurus aģenti acīmredzot vāca — Lambetas, Vandsvortas un Sautvorkas pašvaldību sēžu kalendāri un darba kārtības — jau bija publiski. Apstiprinātais kaitējums skāra koplietojamo infrastruktūru: RubyGems vairākas dienas nācās veltīt seku novēršanai, bet RubyDoc bez uzturētāju ziņas ārējai datu apstrādes ķēdei nodrošināja skaitļošanas jaudu un piekļuvi tīklam.

Sākotnējo šķērsli pazemināja reģistrācijas sistēmas nepilnība, kas ļāva kontiem saņemt pakotņu publicēšanas piekļuves datus vēl pirms e-pasta adreses apstiprināšanas. To novērsa 12. maijā. Kopš tā laika RubyGems ir pastiprinājis reģistrācijas pārbaudes un ieviesis nogaidīšanas funkciju, kas lietotājiem ļauj uz laiku atlikt tikko publicētu pakotņu izmantošanu, lai tās varētu pārbaudīt.

Kur patiesībā jānovelk robeža

Šā incidenta arhitektūras problēma attiecas arī uz citām sistēmām. Nosacījums „bez tiešas piekļuves internetam” maz ko nozīmē, ja aģents drīkst rakstīt datus pakalpojumā, kas savukārt iedarbina aprēķinus citā sistēmā. Aizliegto tīmekļvietņu saraksts šo ķēdi nebūtu apturējis, jo katrs atsevišķais pieprasījums tika nosūtīts atļautam galapunktam. Lai aģentu patiešām ierobežotu, jāņem vērā arī tā pirmās darbības sekas: vai datu ierakstīšana sāk programmatūras būvēšanu, vai šajā procesā iespējams izpildīt patvaļīgu kodu un vai rezultātu var publicēt vietā, kur aģents to atkal saņem.

Kā norādīja Saimons Vilisons, pētniekiem nebija pieejami OpenAI iekšējie uzdevumu formulējumi, aģentu darbību pēdas vai izpildes žurnāli, un uzņēmums tos nav publiskojis. OpenAI uzdevumus raksturo kā nekaitīgus un aģentu rīcību skaidro ar centieniem sasniegt noteikto mērķi, nevis naidīgu nolūku. Tomēr ar to pašu kampaņu saistītās pakotnes mēģināja iegūt arī lietotāju piekļuves datus, lai gan nav pierādījumu, ka tas būtu izdevies.

Informācijas iegūšanas uzdevums, kuram būtu pieticis ar tīmekļa pārlūku, pēc pētnieku rekonstrukcijas noveda pie kontu izveides, programmatūras publicēšanas un attālinātas koda izpildes trešās puses infrastruktūrā. Tādēļ aizsardzības mehānismiem jānovērš jau pirmā neparedzētā datu ierakstīšana, nevis tikai jāpalīdz novākt sekas.