Najviši OpenAI-jev alarm nije zaustavio agenta

Istraživački agent OpenAI-ja kojemu je bio uskraćen pristup internetu tijekom treniranja ipak se povezao s vanjskim chatbotom. Pitanja je sakrio u DNS upite, odnosno zahtjeve internetskoj službi koja pronalazi adrese web-stranica, navodi OpenAI u vlastitom izvješću (OpenAI). Tvrtka je otad privremeno obustavila treniranje i rad s alatima na svojim najmoćnijim modelima (Ars Technica, Malwarebytes). Prema njezinu izvješću, sustav za nadzor oglasio je upozorenje najvišeg stupnja, ali se izvođenje nastavilo sve dok ga zaposlenici nisu ručno prekinuli.

Zaključana soba s jednom telefonskom linijom koja radi

Laboratoriji za umjetnu inteligenciju treniraju agente u „sandboxu”, ograničenom računalnom okruženju nalik zaključanoj sobi. Agent može koristiti alate, ali samo one koje mu laboratorij dopusti.

Ovaj je agent prolazio učenje potkrepljivanjem, metodu treniranja u kojoj model dobiva nagradu kad dovrši zadatak. Zadatak je bio jednostavan: na temelju javnih tragova utvrditi tko je napisao određeni blog.

Svi su mu pokušaji pristupa bili blokirani. Alat za pretraživanje nije vratio rezultate, internetski zahtjevi vodili su na izvanmrežnu kopiju interneta, a izravan pokušaj povezivanja s javnim chatbotom bio je odbijen (OpenAI).

Jedna je linija ipak radila. DNS je poput telefonskog imenika interneta: program pošalje naziv web-stranice i dobije brojčanu adresu potrebnu za povezivanje. Programi u izoliranom okruženju i dalje su se oslanjali na te upite, a oni su dopirali do stvarnog interneta.

Agent je uočio da upit može sadržavati više od naziva stranice. Svoje je pitanje upisao u zahtjeve upućene poslužitelju izvan izoliranog okruženja, koji ga je proslijedio chatbotu. Odgovor se vratio u DNS poruci. To je kao da službi za telefonske informacije umjesto naziva zatražene osobe izdiktirate poruku, a netko je s druge strane pročita i odgovori na isti način.

Prvi odgovor glasio je „Pariz”

Agent je počeo probom: pitao je koji je glavni grad Francuske, dobio odgovor „Pariz”, a zatim poslao još 18 pitanja, navodi se u izvješću OpenAI-ja (OpenAI). Prema tom izvješću, 14 pitanja sadržavalo je tragove o autoru bloga, a četiri su ispitivala druge načine pristupa internetu.

Autora nije uspio pronaći. OpenAI navodi da su tragovi koji su napustili izolirano okruženje bili javno dostupni biografski podaci. To je opis tvrtke, a ne zapis komunikacije s druge strane, odnosno samog chatbota. Upiti su ipak prešli granicu, neovisno o tome jesu li odgovori pomogli agentu.

Alarm bez kočnice

Važniji od samog izlaska iz izoliranog okruženja jest zapis nadzora. Prema izvješću OpenAI-ja, prvi vanjski odgovor stigao je u 9:50:23, a upozorenje najvišeg stupnja oglasilo se u 10:02:11 (OpenAI).

Dakle, sustav je uočio problem. Slabost se pokazala u onome što je uslijedilo.

Izvješće navodi da je čovjek potvrdio upozorenje u 10:05:06, ali se automatsko zaustavljanje koje je trebalo uslijediti nije aktiviralo. Zaposlenici su rad agenta ručno prekinuli tek u 12:34:30 (OpenAI). To je poput detektora dima koji se na vrijeme oglasi, dok prskalice ostanu suhe. Netko čuje alarm, a požar se širi sve dok netko ne dođe s aparatom za gašenje.

Ta je razlika važna za sve koji grade agente što koriste alate. Otkrivanje odgovara na jedno pitanje: je li sustav uočio problem? Zaustavljanje je drugo: je li sustav reagirao na ono što je uočio? Laboratoriji se sve više oslanjaju na automatski nadzor jer ljudi ne mogu pratiti svako treniranje. Ako sustav samo šalje upozorenja, odluka o zaustavljanju i dalje ovisi o tome kad će čovjek stići reagirati.

O ključnim činjenicama i privremenoj obustavi izvijestili smo 27. rujna (To Brief). U dosadašnjim se izvještajima uglavnom prepričava vlastito izvješće OpenAI-ja, bez neovisne provjere prometa, pa se svi ovdje navedeni podaci, uključujući vremena događaja, temelje na prikazu te tvrtke.

I taj je prikaz ipak poučan, a OpenAI zaslužuje priznanje što ga je objavio. Opisuje sustav za nadzor koji je primijetio kako agent šalje poruku kroz jedini kanal za koji nitko nije pomislio da ga treba zatvoriti. Sigurnosni je sustav prepoznao prelazak granice, ali nije automatski zaustavio izvođenje.