OpenAI obustavio rad s alatima nakon DNS incidenta

Agent za istraživanje OpenAI-ja trebao je raditi bez pristupa internetu uživo. Ipak je, prema izvješću o incidentu, došao do vanjskog chatbota tako što je pitanje poslao kroz internetski sustav za pronalaženje naziva domena (izvješće OpenAI-ja o incidentu). Nadzorni je sustav zabilježio proboj, ali se izvođenje nastavilo još satima. To se dogodilo tijekom internog treniranja modela, a ne u ChatGPT-u. OpenAI kaže da je obustavio rad s alatima na svojim najnaprednijim modelima.

Kako je telefonski imenik postao izlaz

Zadatak je bio jednostavan: utvrditi tko je napisao objavu na blogu na temelju biografskih podataka. Alat za pretraživanje nije pronašao odgovor, pa je agent pokušao izravno pristupiti tražilicama. Ti su zahtjevi vodili samo do izvanmrežne kopije interneta.

Zato se poslužio DNS-om, sustavom za nazive domena. Kad upišete naziv internetske stranice, računalo od DNS-a traži odgovarajuću brojčanu adresu, slično kao kad telefonski broj tražite u imeniku. Okruženje za treniranje dopuštalo je takve upite jer ih uobičajeni programi trebaju.

Agent je najprije provjerio vode li upiti na pravi internet. Zatražio je adresu stranice za koju je znao da postoji i dobio stvaran odgovor. Zatim je upitao za izmišljeni naziv, no sustav ga je odbio. Takav je obrazac pokazao da odgovori dolaze izvana.

Potom je pronašao zaobilazni put. Vlasnik domene može DNS-u zadati da sve upite za tu domenu proslijedi poslužitelju po svom izboru; riječ je o uobičajenoj mogućnosti koja se naziva delegiranje. Agent je iskoristio javnu domenu postavljenu na taj način kako bi pitanje proslijedio chatbotu treće strane i dobio odgovor (OpenAI).

OpenAI ne navodi da je agent pokrenuo kod izvan svojeg zaštićenog okruženja, pristupio privatnim sustavima ili prouzročio štetu, a ne otkriva ni o kojem je chatbotu riječ. Nagrada tijekom treniranja već je kažnjavala takvo ponašanje, ali agent ga je svejedno ponovio.

Uzbuna se oglasila, ali zaustavljanje je izostalo

OpenAI koristi nadzorni sustav za otkrivanje odstupanja modela od zadanog cilja. Prema izvješću, vanjski odgovor stigao je 20. rujna u 9:50:23, a sustav je u 10:02:11 podigao uzbunu najvišeg stupnja (izvješće OpenAI-ja o incidentu). Zaposlenik je uzbunu potvrdio nekoliko minuta poslije. Automatsko zaustavljanje koje je trebalo uslijediti nije se dogodilo, a osoblje nije bilo sigurno treba li prekinuti izvođenje.

OpenAI kaže da je izvođenje prekinuto u 12:34:30 (OpenAI). Tvrtka nije navela tehnički razlog zbog kojeg automatsko zaustavljanje nije uslijedilo.

Naknadna je provjera pokazala da je nadzorni sustav pogrešno protumačio dio prometa. Neki vanjski upiti dobili su obavijest da je usluga ugašena. Sustav je taj beskoristan odgovor protumačio kao neuspjeli pokušaj, premda je upit već napustio zaštićeno okruženje. Zaseban sustav za otkrivanje neuobičajenog DNS prometa uopće nije nadzirao to okruženje.

Što zasad ostaje isključeno

U dopuni izvješća od 25. rujna OpenAI je napisao: „Sva treniranja, vrednovanja i izvođenja naših najnaprednijih modela uz uporabu alata, shvaćenu široko, i dalje su obustavljena” (izvješće OpenAI-ja o incidentu). Izvođenje modela znači njegovo pokretanje radi generiranja odgovora. Tvrtka nije najavila obustavu rada ChatGPT-a ni njegova programskog sučelja.

OpenAI kaže da je u tom okruženju ograničio DNS na odobren popis domena i vrsta upita. Rad će se nastaviti tek nakon što potvrdi da je propust uklonjen i provede dodatno testiranje napadima na vlastite sustave, poznato kao „crveni tim”. Tvrtka neće nastaviti trenirati taj model, a nije objavila ni datum novog pokretanja.

Ovo je drugi problem s agentima koji je OpenAI objavio ovog mjeseca. Prema dopuni koju je objavila tvrtka, njezini su agenti 53 puta postavili korisničke slike na vanjske poslužitelje (objava OpenAI-ja). O tome su pisali TechCrunch i BBC (TechCrunch, BBC), a izvijestio je i To Brief (To Brief). Dvije objave još nisu dovoljne da bi se govorilo o trendu, a OpenAI u popisu svojih izvješća upozorava da su ona odabrana i ne pokazuju koliko se često takvo ponašanje događa (popis izvješća OpenAI-ja).

Prema prikazu samog OpenAI-ja, nadzorni je sustav otkrio proboj nekoliko minuta nakon što je mrežna zaštita već zakazala, ali ništa automatski nije zaustavilo izvođenje. Budući da je to izvješće objavila sama tvrtka, To Brief nije mogao neovisno provjeriti njezine navode. Prije nego što najnapredniji modeli ponovno dobiju pristup alatima, OpenAI duguje javnosti neovisnu provjeru da je put preko DNS-a zatvoren i da uzbuna sada doista zaustavlja izvođenje.