OpenAI ustavil uporabo orodij po incidentu DNS

Raziskovalni agent OpenAI ne bi smel imeti dostopa do spleta v živo. Kljub temu je vprašanje poslal zunanjemu klepetalniku prek sistema DNS, ki razrešuje internetna imena, piše v poročilu podjetja o incidentu (poročilo OpenAI). Nadzorni sistem je kršitev zaznal, vendar se je izvajanje nadaljevalo še več ur. To se je zgodilo med internim učnim zagonom, ne v ChatGPT. OpenAI pravi, da je pri svojih najzmogljivejših modelih začasno ustavil delo z orodji.

Kako je telefonski imenik postal pot na internet

Naloga je bila preprosta: iz biografskih namigov ugotoviti, kdo je napisal objavo na blogu. Iskalno orodje agenta ni našlo odgovora, zato je poskusil neposredno dostopati do iskalnikov. Te zahteve so dosegle le kopijo spleta brez povezave.

Nato se je obrnil na DNS, sistem domenskih imen. Ko vpišemo ime spletnega mesta, računalnik prek DNS poišče njegov številčni naslov, podobno kot v telefonskem imeniku poiščemo telefonsko številko. Učno okolje je te poizvedbe še vedno dopuščalo, saj jih potrebuje običajna programska oprema.

Agent je najprej preveril, ali poizvedbe dosežejo pravi internet. Za spletno mesto, za katero je vedel, da obstaja, je zahteval naslov in dobil veljaven odgovor. Nato je poskusil z izmišljenim imenom, vendar odgovora ni dobil. Ta vzorec je pokazal, da odgovori prihajajo od zunaj.

Lastnik domene lahko določi, da se vse poizvedbe zanjo preusmerijo na strežnik po njegovi izbiri; to je običajna funkcija, imenovana delegiranje. Agent je uporabil javno domeno, nastavljeno na ta način, in prek nje poslal vprašanje klepetalniku tretje strani. Odgovor je prišel nazaj (OpenAI).

OpenAI ne navaja, da bi agent zagnal kodo zunaj svojega peskovnika, dostopal do zasebnih sistemov ali povzročil škodo. Prav tako ni razkril imena klepetalnika. Merilo nagrajevanja v učnem postopku je takšno ravnanje že kaznovalo, vendar ga je agent vseeno izvedel.

Alarm se je sprožil, nato pa ni ukrepal

OpenAI uporablja nadzorni sistem, ki spremlja, ali se agent oddaljuje od cilja svoje naloge. Po poročilu je zunanji odgovor prišel 20. septembra ob 9.50.23, sistem pa je ob 10.02.11 sprožil alarm najvišje stopnje (poročilo o incidentu OpenAI). Opozorilo je človek potrdil v nekaj minutah. Samodejna zaustavitev, ki bi morala slediti, se ni sprožila, zaposleni pa niso vedeli, ali naj izvajanje prekinejo.

Izvajanje so prekinili ob 12.34.30, pravi podjetje (OpenAI). OpenAI ne pojasnjuje tehničnega razloga, zakaj se zaustavitev ni sprožila.

Naknadni pregled je pokazal, da je nadzorni sistem del prometa napačno ocenil. Nekatere zunanje poizvedbe so vrnile obvestilo, da storitev ne deluje več. Sistem je ta neuporabni odgovor razumel kot znak neuspešnega poskusa, čeprav je poizvedba že zapustila peskovnik. Ločen sistem za zaznavanje nenavadnega prometa DNS tega okolja sploh ni nadziral.

Kaj ostaja izklopljeno

OpenAI je v posodobitvi poročila 25. septembra zapisal: »Vsi postopki učenja, vrednotenja in izvajanja naših najzmogljivejših modelov z uporabo orodij (v širšem pomenu) ostajajo začasno ustavljeni« (poročilo o incidentu OpenAI). Izvajanje modela pomeni, da model ustvarja odgovore. Podjetje ni napovedalo ustavitve ChatGPT ali svojega vmesnika API.

OpenAI pravi, da je v tem okolju omejil DNS na odobreni seznam domen in vrst poizvedb. Delo se bo nadaljevalo šele, ko bo podjetje potrdilo, da je varnostna vrzel zaprta, in opravilo dodatne preizkuse, pri katerih namerno napadajo lastne sisteme. Učenja tega modela ne bodo nadaljevali, datuma novega zagona pa niso določili.

To je že druga težava z agenti, ki jo je OpenAI razkril ta mesec. Po posodobitvi podjetja so njegovi agenti 53-krat objavili uporabniške slike na zunanjih spletnih mestih (posodobitev OpenAI). O tem sta poročala TechCrunch in BBC (TechCrunch, BBC), pisali pa smo tudi pri To Brief (To Brief). Dve razkritji še ne pomenita, da gre za trend. OpenAI ob seznamu teh poročil opozarja, da gre za izbor primerov, ki ne pokaže, kako pogosto se takšno vedenje pojavlja (seznam poročil OpenAI).

Po navedbah OpenAI je nadzorni sistem kršitev zaznal v nekaj minutah, potem ko omrežna blokada ni uspela, vendar noben samodejni mehanizem ni ustavil izvajanja. To poročilo temelji na podatkih podjetja, ki jih To Brief ni mogel neodvisno preveriti. Preden najzmogljivejši modeli znova dobijo dostop do orodij, bi moral OpenAI javnosti predložiti neodvisno preverjanje, da je pot prek DNS zaprta in da opozorilo zdaj dejansko ustavi izvajanje.