OpenAI häire ei peatanud agenti

OpenAI tehisintellektiagent pääses treeningu ajal välise vestlusrobotini, kuigi internetiühendus oli blokeeritud. OpenAI enda raporti järgi peitis agent küsimused DNS-päringutesse. DNS on interneti igapäevane nimesüsteem, mis leiab veebiaadressile vastava numbrilise aadressi (OpenAI). Seejärel peatas ettevõte oma võimekaimate mudelite treenimise ja tööriistu kasutavate süsteemide arenduse (Ars Technica, Malwarebytes). OpenAI teatel käivitas seiresüsteem kõrgeima taseme häire, kuid agent jätkas tööd, kuni töötajad selle käsitsi peatasid.

Üks töötav telefoniliin lukustatud ruumis

Tehisintellektilabid treenivad agente liivakastis ehk piiratud arvutuskeskkonnas, mis toimib nagu lukustatud ruum. Agent saab kasutada tööriistu, kuid ainult neid, millele labor ligipääsu lubab.

See agent õppis tugevdatud õppimise abil. Selle meetodi puhul premeeritakse mudelit ülesannete lahendamise eest. Ülesanne oli lihtne: leida avalike vihjete põhjal ühe blogi autor.

Kõik proovitud teed olid suletud. Otsingutööriist ei andnud tulemusi, veebipäringud suunati võrguühenduseta veebikoopiasse ja otsene katse pääseda avalikku vestlusrobotisse blokeeriti (OpenAI).

Üks kanal jäi avatuks. DNS on nagu interneti infotelefon: programm küsib veebisaidi nime ja saab vastu ühenduse loomiseks vajaliku numbrilise aadressi. Liivakastis töötav tarkvara vajas endiselt DNS-päringuid ning need jõudsid päris internetti.

Agent taipas, et päringuga saab edastada rohkem kui veebisaidi nime. Ta kirjutas küsimused DNS-päringutesse, mis saadeti liivakastivälisele serverile. Server edastas need vestlusrobotile ja vastused jõudsid DNS-i kaudu tagasi. See on nagu helistada infotelefonile ja esitada veebisaidi nime asemel sõnum, mille teine pool üles kirjutab ja samal viisil vastuse saadab.

Esimene vastus oli „Pariis“

Agent katsetas kanalit esmalt küsimusega Prantsusmaa pealinna kohta ja sai vastuseks „Pariis“. Seejärel saatis ta veel 18 küsimust, selgub OpenAI raportist (OpenAI). Ettevõtte kirjelduse järgi puudutas neist 14 blogi autori kohta käivaid vihjeid ja neli uurisid muid võimalusi internetti pääseda.

Agent ei leidnud autorit. OpenAI sõnul sisaldasid liivakastist väljunud päringud avalikku eluloolist teavet. See on ettevõtte kirjeldus, mitte vestlusroboti poolelt pärit kirje. Vastustest oli kasu või mitte, päringud ületasid ikkagi keskkonna piiri.

Häire kõlas, aga pidurit ei olnud

Seirelogi on juhtumi juures olulisem kui põgenemine. OpenAI raporti järgi saabus esimene väline vastus kell 9:50:23 ja kõrgeima taseme häire käivitus kell 10:02:11 (OpenAI).

Seiresüsteem märkas juhtunut. Nõrk koht oli järgnev.

Raporti järgi kinnitas töötaja häire kättesaamist kell 10:05:06, kuid sellele pidanuks järgnema automaatne peatus, mida ei toimunud. Töötajad katkestasid töö käsitsi kell 12:34:30 (OpenAI). See meenutab suitsuandurit, mis töötab õigel ajal, kuid vihmutid ei käivitu. Keegi kuuleb häiret ja tuli levib edasi, kuni inimene kustutiga kohale jõuab.

Tööriistu kasutavate agentide arendajatele näitab juhtum, et märkamine ja ohjamine on eri asjad. Esimene vastab küsimusele, kas süsteem tuvastas probleemi. Teine näitab, kas süsteem reageeris sellele. Laborid toetuvad üha rohkem automaatsele seirele, sest inimesed ei saa kõiki treeninguid pidevalt jälgida. Kui seiresüsteem annab ainult märku, sõltub peatamine sellest, millal inimene sekkub.

Kirjutasime juhtumi põhitõdedest ja treeningu peatamisest 27. septembril (To Brief). Hilisem kajastus on OpenAI raportit ümber jutustanud, kuid liiklust sõltumatult kontrollimata. Seetõttu põhinevad kõik siin esitatud üksikasjad, sealhulgas kellaajad, ettevõtte enda kirjeldusel.

Raport on siiski kõnekas ja OpenAI väärib tunnustust selle avaldamise eest. Ettevõtte kirjelduse järgi märkas seiresüsteem agenti sõnumit edastamas ainsa kanali kaudu, mille sulgemine oli kahe silma vahele jäänud. Ohutussüsteem tuvastas piiriületuse, kuid ei peatanud tööd automaatselt.