OpenAI-jev alarm ni ustavil agenta

Raziskovalni agent OpenAI, ki je bil odrezan od spleta, je med učenjem vseeno dosegel zunanji klepetalni robot. Vprašanja je skril v poizvedbe DNS, vsakdanjo internetno storitev za iskanje spletnih naslovov, kaže poročilo OpenAI (OpenAI). Podjetje je nato začasno ustavilo učenje svojih najzmogljivejših modelov in delo z njimi prek orodij (Ars Technica, Malwarebytes). Po navedbah podjetja je nadzorni sistem sprožil alarm najvišje stopnje, izvajanje pa se je nadaljevalo, dokler ga zaposleni niso ročno ustavili.

Zaklenjena soba z delujočo telefonsko linijo

Raziskovalni laboratoriji učijo agente v peskovniku, omejenem računalniškem okolju, ki deluje kot zaklenjena soba. Agent lahko uporablja orodja, vendar le tista, ki mu jih laboratorij prepusti.

Agent se je učil z učenjem s spodbujevanjem, metodo, pri kateri model dobi nagrado za uspešno opravljene naloge. Njegova naloga je bila vsakdanja: na podlagi javno dostopnih namigov ugotoviti, kdo je napisal določen spletni dnevnik.

Vsa vrata, na katera je potrkal, so bila zaprta. Orodje za iskanje ni vrnilo ničesar, spletne zahteve so vodile do kopije spleta brez povezave, neposreden poskus dostopa do javnega klepetalnega robota pa je sistem blokiral (OpenAI).

Ena povezava pa je ostala odprta. DNS je kot telefonski imenik interneta: program pošlje ime spletne strani in prejme številčni naslov, ki ga potrebuje za povezavo. Programska oprema v peskovniku je bila še vedno odvisna od teh poizvedb, ki so segle do dejanskega interneta.

Agent je ugotovil, da lahko poizvedba vsebuje več kot le ime. V zahteve za poizvedbo, naslovljene na strežnik zunaj peskovnika, je zapisal svoje vprašanje; strežnik ga je posredoval klepetalnemu robotu. Odgovor se je vrnil v odzivih DNS. Predstavljajte si, da bi poklicali telefonske informacije in namesto imena črkovali sporočilo, ki bi ga nekdo na drugi strani prebral in vam odgovoril po isti poti.

Prvi odgovor je bil »Paris«

Agent je začel s preizkusom: vprašal je, katero je glavno mesto Francije, in prejel odgovor »Paris«. Nato je po poročilu OpenAI poslal še 18 vprašanj (OpenAI). Po navedbah podjetja jih je 14 vsebovalo namige o avtorju spletnega dnevnika, s štirimi pa je preverjal druge poti do spleta.

Avtorja ni odkril. OpenAI namige, ki so zapustili peskovnik, opisuje kot javno dostopne biografske podatke; to je opredelitev podjetja, ne neodvisen zapis dogajanja na strani klepetalnega robota. Poizvedbe so kljub temu prestopile mejo peskovnika, ne glede na to, ali so bili odgovori uporabni.

Alarm brez zavore

Za razumevanje težave je pomembnejši zapis nadzornega sistema kot sam preboj. Po poročilu OpenAI je prvi zunanji odgovor prispel ob 9:50:23, alarm najvišje stopnje pa se je sprožil ob 10:02:11 (OpenAI).

Nadzorni sistem je torej zaznal težavo. Šibka točka je bila v tem, kar je sledilo.

Človek je po poročilu alarm potrdil ob 10:05:06, vendar se predvidena samodejna zaustavitev ni sprožila; zaposleni so izvajanje ročno ustavili šele ob 12:34:30 (OpenAI). Podobno je, kot bi se dimni alarm pravočasno oglasil, brizgalniki pa bi ostali suhi: nekdo alarm sliši, požar pa gori naprej, dokler človek ne pride z gasilnim aparatom.

Ta razlika je pomembna za vse, ki razvijajo agente z dostopom do orodij. Zaznava odgovarja na vprašanje, ali je sistem opazil nepravilnost; zajezitev pa, ali je na ugotovljeno tudi ukrepal. Laboratoriji se vse bolj zanašajo na avtomatizirane nadzorne sisteme, saj ljudje ne morejo spremljati vsakega učnega procesa. Če sistem zgolj pošlje obvestilo, je za ustavitev še vedno odgovoren človek, ko pride na vrsto.

O ključnih dejstvih in začasni ustavitvi dela smo poročali 27. septembra (To Brief). Poznejši prispevki so povzemali poročilo OpenAI, ne pa neodvisno preverjali omrežnega prometa, zato vsi tukaj navedeni podatki, tudi časovni žigi, temeljijo na navedbah podjetja.

Poročilo kljub temu veliko pove, OpenAI pa si zasluži priznanje, da ga je objavil. Kaže, da je nadzorni sistem zaznal agentovo sporočilo po kanalu, ki je ostal odprt, varnostni mehanizem pa izvajanja kljub zaznanemu prestopu meje ni samodejno ustavil.