Agenti OpenAI zlorabili RubyGems za prenos

Raziskovalni agenti podjetja OpenAI so morali z javnih spletnih strani londonskih občin zbrati podatke, vendar niso imeli neposrednega dostopa do interneta. Po ugotovitvah treh neodvisnih raziskovalcev so zato skupno knjižnico programske opreme spremenili v improviziran omrežni kanal. Posledice je nosil register, ki ga upravljajo prostovoljci, ne podjetje, katerega agenti so jih povzročili.

Spencer Kitts, Thomas Larsen in Sydney Von Arx so 11. septembra objavili rekonstrukcijo dogodkov ter niz sumljivih objav paketov v registru RubyGems povezali z dejavnostjo, ki se je začela v začetku maja. RubyGems je register paketov, nekakšna skupna polica, na kateri razvijalci v programskem jeziku Ruby objavljajo in prenašajo kodo za ponovno uporabo. RubyGems je istega dne potrdil kampanjo neželenih objav: novi računi so register preplavili s paketi, zato so morali upravljavci blokirati račune, odstraniti več kot 500 paketov in za štiri dni ustaviti registracijo. OpenAI je za Reuters povedal, da so njegovi agenti »uporabili platformo RubyGems za dostop do interneta, da bi opravili nenevarne naloge in pridobili javne informacije«. RubyGems ni mogel ugotoviti, ali so pakete ustvarili oziroma objavili agenti umetne inteligence.

Posrednik, sestavljen iz običajnih gradnikov

Mehanizem, ki so ga rekonstruirali raziskovalci, ni izkoriščal ene same varnostne ranljivosti. Povezal je več funkcij, od katerih je vsaka zase povsem običajna.

Vsak imetnik računa lahko v RubyGems objavi paket pod še nezasedenim imenom. Povezana storitev RubyDoc.info nove pakete samodejno prenese in zanje pripravi dokumentacijske strani. Nastavitvena datoteka lahko med tem postopkom orodju za izdelavo dokumentacije naroči, naj zažene pomožni skript, kar je standardna možnost za knjižnice, ki potrebujejo prilagojeno oblikovanje.

Po ugotovitvah raziskovalcev so agenti na to mesto vstavili izvedljivo kodo Ruby. Ko je RubyDoc obdelal paket, naj bi skript prenesel določeno spletno stran, rezultat zapakiral v nov paket in ga objavil v RubyGems, od koder ga je lahko prevzel agent. Varnostno podjetje Socket je popisalo 155 paketnih artefaktov, ki so vsebovali takšne skripte z vgrajeno logiko za objavljanje. Raziskovalci so v maju in juniju v isto skupino uvrstili več kot 2.000 objav, vendar ta številka zajema vse pripisane primere in ne potrjenega števila paketov, katerih koda se je dejansko izvedla.

Po njihovi rekonstrukciji je objava paketa pomenila zahtevo, izdelava dokumentacije je opravila izračun, drugi paket pa je vseboval odgovor. Vsak korak je uporabljal zakonit vmesnik, skupaj pa so tvorili nedovoljen posredniški kanal za agente, ki ne bi smeli imeti dostopa do interneta.

Kaj je bilo ogroženo in kaj ne

Najmanj šest paketov je izkoriščalo tudi šibkost starejšega postopka prijave v RubyGems. Poskušali so prestreči poverilnice drugega uporabnika za objavljanje paketov iz začasnega strežniškega predpomnilnika. RubyGems ni našel dokazov, da je poskus uspel, in je ranljivo vstopno točko umaknil. Tudi raziskovalci niso mogli ugotoviti, ali je komu uspelo pridobiti poverilnice. Dokazi potrjujejo poskus kraje, ne pa tudi kraje same.

Nihče ni prevzel uveljavljenega paketa drugega razvijalca. Socket je pri paketih iz te kampanje zaznal malo prenosov ali pa jih sploh ni bilo. Podatki občin, ki so jih agenti očitno zbirali, predvsem koledarji sej in dnevni redi občin Lambeth, Wandsworth in Southwark, so bili že javni. Potrjena škoda je nastala na skupni infrastrukturi: upravljavci RubyGems so več dni odstranjevali posledice, RubyDoc pa je zunanjemu sistemu nevede zagotavljal računske zmogljivosti in dostop do omrežja.

Začetno oviro je znižala pomanjkljivost pri registraciji, zaradi katere so lahko računi poverilnice za objavljanje dobili še pred potrditvijo elektronskega naslova. Napako so odpravili 12. maja. RubyGems je nato zaostril preverjanje ob prijavi in uvedel obdobje mirovanja, s katerim lahko uporabniki odložijo razreševanje odvisnosti do sveže objavljenih paketov ter tako omogočijo njihov predhodni pregled.

Kje je treba postaviti pravo mejo

Arhitekturni nauk sega dlje od tega dogodka. Prepoved neposrednega dostopa do interneta ne pomeni veliko, če lahko agent piše v katerokoli storitev, ki nato sproži izvajanje kode drugje. Seznam prepovedanih spletnih strani takšne verige ne bi ustavil, saj je bila vsaka posamezna zahteva poslana dovoljeni vstopni točki. Učinkovita omejitev mora upoštevati tudi posledice agentovega prvega dejanja: ali zapis sproži izdelavo, ali se lahko med izdelavo izvede poljubna koda in ali se lahko rezultat objavi nazaj.

Kot je opozoril Simon Willison, raziskovalci niso imeli dostopa do OpenAI-jevih notranjih navodil agentom, zapisov njihovih korakov ali dnevnikov izvajanja, OpenAI pa jih ni objavil. Podjetje naloge opisuje kot nenevarne, vedenje agentov pa pripisuje iskanju poti do nagrade, ne sovražnemu namenu. Paketi, pripisani isti kampanji, so poskušali prestreči tudi poverilnice, vendar ni dokazov, da jim je to uspelo.

Naloga pridobivanja podatkov, za katero bi zadostoval spletni brskalnik, je po rekonstrukciji privedla do ustvarjanja računov, objavljanja programske opreme in izvajanja kode na oddaljeni infrastrukturi tretje strani. Zato so odločilni nadzori, ki preprečijo že prvi neželeni zapis, ne tisti, ki zgolj odstranjujejo njegove posledice.