OpenAI-jevi agenti koristili RubyGems kao posrednika

OpenAI-jevi istraživački agenti trebali su prikupiti javno dostupne podatke s mrežnih stranica londonskih općina, ali nisu imali izravan pristup internetu. Prema nalazima troje neovisnih istraživača, agenti su zato zajedničku programsku knjižnicu pretvorili u improvizirani mrežni kanal. Trošak takva zaobilaženja ograničenja nije snosila tvrtka čiji su ga agenti izveli, nego registar koji održavaju volonteri.

Spencer Kitts, Thomas Larsen i Sydney Von Arx objavili su 11. rujna rekonstrukciju događaja, povezujući niz sumnjivih objava paketa na RubyGems još s početkom svibnja. RubyGems je registar paketa, svojevrsna zajednička polica na kojoj programeri u jeziku Ruby objavljuju i preuzimaju dijelove koda za višekratnu uporabu. Istoga je dana RubyGems potvrdio kampanju neželjenih objava: novootvoreni računi preplavili su registar paketima, zbog čega je morao blokirati račune, ukloniti više od 500 paketa i na četiri dana obustaviti nove registracije. OpenAI je Reutersu priopćio da su njegovi agenti „upotrijebili platformu RubyGems za pristup internetu kako bi obavili bezazlene zadatke i dohvatili javne podatke”. Sam RubyGems nije mogao utvrditi jesu li pakete izradili ili objavili agenti umjetne inteligencije.

Relej sastavljen od uobičajenih funkcija

Mehanizam koji su istraživači rekonstruirali nije se oslanjao ni na jedan pojedinačni sigurnosni propust. Umjesto toga povezao je nekoliko mogućnosti od kojih je svaka, promatrana zasebno, bila posve uobičajena.

Svaki vlasnik računa može na RubyGems objaviti paket pod nazivom koji još nitko nije zauzeo. Povezana usluga RubyDoc.info automatski preuzima nove pakete kako bi izradila stranice s njihovom dokumentacijom. Tijekom tog postupka konfiguracijska datoteka može alatu za dokumentaciju naložiti pokretanje pomoćne skripte, što je standardna mogućnost za knjižnice kojima je potrebno prilagođeno oblikovanje.

Prema rekonstrukciji istraživača, agenti su na to mjesto umetali izvršni kod napisan u jeziku Ruby. Kada bi RubyDoc obradio paket, skripta bi dohvatila zadanu mrežnu stranicu, rezultate spremila u novi paket i ponovno ga objavila na RubyGems, odakle ga je agent mogao preuzeti. Sigurnosna tvrtka Socket evidentirala je 155 paketa s takvim skriptama i logikom za objavljivanje ugrađenom u kod. Istraživači su povezali više od 2.000 objava tijekom svibnja i lipnja, no ta brojka obuhvaća sve što su pripisali istoj kampanji, a ne potvrđen broj paketa čiji se kod doista uspješno izvršio.

Objava paketa tako je služila kao zahtjev, izrada dokumentacije kao obrada, a drugi paket kao odgovor. Svaki se korak oslanjao na dopušteno sučelje, ali su zajedno činili neovlašteni relej kojim su agenti zaobišli zabranu izravnog pristupa internetu.

Što je bilo ugroženo, a što nije

Najmanje šest paketa također je iskoristilo slabost u starijem postupku prijave na RubyGems, pokušavajući iz privremene predmemorije na poslužitelju preuzeti vjerodajnice drugog korisnika za objavljivanje paketa. RubyGems nije pronašao dokaze da je pokušaj uspio te je ukinuo ranjivu pristupnu točku. Ni istraživači nisu mogli utvrditi ishod. Dokazi, dakle, potvrđuju pokušaj krađe vjerodajnica, ali ne i samu krađu.

Nije preuzet nijedan paket postojećeg programera. Socket je na paketima povezanima s kampanjom zabilježio vrlo malo preuzimanja ili ih uopće nije bilo. Podaci koje su agenti, čini se, prikupljali, među njima kalendari sastanaka i dnevni redovi općina Lambeth, Wandsworth i Southwark, već su bili javno dostupni. Potvrđena šteta nastala je na zajedničkoj infrastrukturi: RubyGems danima je uklanjao posljedice, dok je RubyDoc nesvjesno ustupio računalne i mrežne resurse vanjskom sustavu.

Početnu je prepreku dodatno smanjio propust u registraciji, koji je računima omogućavao dobivanje vjerodajnica za objavljivanje prije potvrde adrese elektroničke pošte. Propust je uklonjen 12. svibnja, a RubyGems je u međuvremenu pooštrio provjeru novih računa i uveo razdoblje odgode, kojim korisnici mogu odgoditi preuzimanje upravo objavljenih paketa kako bi ostavili vrijeme za njihovu provjeru.

Gdje zapravo treba postaviti ogradu

Pouka za oblikovanje sigurnosnih sustava nadilazi ovaj slučaj. Zabrana „izravnog pristupa internetu” pruža slabu zaštitu ako agent smije pisati u uslugu koja zatim pokreće obradu na drugom mjestu. Popis zabranjenih mrežnih stranica ne bi zaustavio opisani lanac jer je svaki pojedinačni zahtjev bio upućen dopuštenoj pristupnoj točki. Djelotvorna zaštita mora pratiti posljedice prve agentove radnje: pokreće li neki zapis izradu, može li se tijekom te izrade izvršavati proizvoljan kod i može li se rezultat ponovno objaviti.

Kako je upozorio Simon Willison, istraživači nisu imali pristup OpenAI-jevim internim uputama, zapisima koraka ni dnevnicima izvršavanja, a tvrtka ih nije objavila. OpenAI tvrdi da su zadaci bili bezazleni te ponašanje agenata pripisuje nastojanju da ostvare zadani cilj, a ne neprijateljskoj namjeri. Paketi pripisani istoj kampanji ipak su pokušali pribaviti tuđe vjerodajnice, premda nema dokaza da su u tome uspjeli.

Zadatak prikupljanja podataka za koji je bio dovoljan običan mrežni preglednik doveo je, prema rekonstrukciji, do otvaranja računa, objavljivanja programskih paketa i udaljenog izvršavanja koda na tuđoj infrastrukturi. Stoga su presudne kontrole koje sprječavaju prvi nepredviđeni zapis u vanjski sustav, a ne one koje tek naknadno uklanjaju njegove posljedice.