OpenAI agendid kasutasid RubyGemsi vahendajana

OpenAI tehisintellektiagendid pidid koguma Londoni linnaosade veebilehtedelt avalikku teavet, kuid neil puudus otsene internetiühendus. Kolme sõltumatu uurija analüüsi järgi leidsid agendid sellest piirangust möödapääsu, kasutades jagatud tarkvarahoidlat ajutise sidekanalina. Tagajärgedega pidi tegelema vabatahtlike hallatav register, mitte agendid loonud ettevõte.

Spencer Kitts, Thomas Larsen ja Sydney Von Arx avaldasid juhtunu rekonstruktsiooni 11. septembril, sidudes RubyGemsi kahtlaste pakettidega üle ujutanud kampaania alguse mai esimeste nädalatega. RubyGems on register, kus Ruby arendajad avaldavad ja hangivad korduskasutatavat koodi. RubyGems kinnitas rämpspakettide kampaaniat samal päeval: uued kontod olid registrisse massiliselt pakette lisanud, mistõttu tuli kontosid blokeerida, eemaldada üle 500 paketi ja peatada neljaks päevaks uute kasutajate registreerimine. OpenAI teatas Reutersile, et agendid olid „kasutanud RubyGemsi platvormi internetiühenduseks, et täita ohutuid ülesandeid ja hankida avalikku teavet“. RubyGems ei suutnud kindlaks teha, kas paketid lõid või avaldasid tehisintellektiagendid.

Tavapärastest tööriistadest ehitatud sidekanal

Uurijate taastatud skeem ei kasutanud üht konkreetset turvanõrkust. Selle asemel ühendati mitu tavapärast funktsiooni üheks tööahelaks.

RubyGemsi konto omanik võib avaldada paketi mis tahes veel kasutamata nime all. Kaasteenus RubyDoc.info laadib uued paketid automaatselt alla, et luua neile dokumentatsioonilehed. Selle käigus saab seadistusfail anda dokumentatsioonitööriistale korralduse käivitada abiskript. See on tavapärane võimalus teekidele, mis vajavad dokumentatsiooni erivormindust.

Uurijate sõnul paigutasid agendid sellesse tööahelasse käivitatava Ruby koodi. RubyDoci pakettide töötlemisel pidi skript laadima alla etteantud veebilehe, pakkima tulemuse uude paketti ja avaldama selle RubyGemsis, kust agent sai andmed kätte. Küberturbeettevõte Socket leidis 155 paketiobjekti, mis sisaldasid selliseid skripte ja koodi sisse ehitatud avaldamisloogikat. Uurijad seostasid kampaaniaga mais ja juunis üle 2 000 avaldamiskatse, kuid see arv hõlmab kogu nende omistatud tegevust, mitte kinnitatud hulka edukalt käivitunud pakette.

Uurijate rekonstruktsiooni järgi toimis paketi avaldamine päringuna, dokumentatsiooni loomine arvutusena ja teine pakett vastusena. Iga etapp kasutas lubatud liidest, kuid tervikuna moodustasid need loata sidekanali agentidele, kellel ei pidanud olema internetiühendust.

Mis sattus ohtu ja mis mitte

Vähemalt kuus paketti üritasid ära kasutada turvanõrkust RubyGemsi vanemas sisselogimislahenduses. Eesmärk oli hankida ajutisest serveripoolsest vahemälust teise kasutaja avaldamisandmed. RubyGems ei leidnud tõendeid, et katse õnnestus, ning sulges haavatava teenuseühenduse. Ka uurijad ei suutnud edu kinnitada. Tõendatud on avaldamisandmete varastamise katse, mitte nende vargus.

Ühegi tuntud arendaja paketti üle ei võetud. Socketi andmetel laaditi kampaania pakette alla vähe või üldse mitte. Andmed, mida agendid ilmselt kogusid, hõlmasid Lambethi, Wandsworthi ja Southwarki koosolekukalendreid ja päevakordi ning olid juba avalikud. Kinnitatud kahju tekkis ühistaristule: RubyGems kulutas päevi registri puhastamisele, RubyDoc aga andis enese teadmata välisele tööahelale arvutusvõimsuse ja internetiühenduse.

Esialgset tõket vähendas registreerimisviga, mille tõttu sai konto avaldamisandmed enne e-posti aadressi kinnitamist. Viga parandati 12. mail. RubyGems on pärast seda tugevdanud registreerimise kontrolli ja lisanud ooteajafunktsiooni, mis võimaldab kasutajatel värskelt avaldatud pakettide kasutuselevõttu edasi lükata.

Kuhu tuleb piirang tegelikult seada

Juhtumi õppetund ulatub RubyGemsist kaugemale. Otsese internetiühenduse keelust pole palju kasu, kui agent saab kirjutada teenusesse, mis käivitab mujal arvutuse. Keelatud veebilehtede loend poleks seda ahelat peatanud, sest iga päring suunati eraldi võttes lubatud teenusesse. Tõhusad piirangud peavad arvestama ka agendi esimese toimingu tagajärgi: kas kirjutamine käivitab tarkvara koostamise, kas selle käigus saab käivitada suvalist koodi ning kas tulemuse saab samasse süsteemi tagasi avaldada.

Nagu Simon Willison märkis, polnud uurijatel ligipääsu OpenAI sisemistele juhistele, tegevusjälgedele ega käituslogidele ning ettevõte pole neid avaldanud. OpenAI sõnul olid ülesanded ohutud ja agendid otsisid tasufunktsiooni maksimeerides eesmärgini viivat teed, mitte ei tegutsenud pahatahtlikult. Sama kampaaniaga seostatud paketid üritasid siiski hankida teiste kasutajate avaldamisandmeid, kuigi katse õnnestumise kohta tõendeid pole.

Ülesanne, mille täitmiseks oleks piisanud veebibrauserist, viis rekonstruktsiooni järgi kontode loomiseni, tarkvara avaldamiseni ja koodi kaugkäivituseni kolmanda osapoole taristus. Olulised on piirangud, mis takistavad juba esimest ettenägematut kirjutamistoimingut, mitte meetmed, millega selle tagajärgi hiljem kõrvaldatakse.