OpenAI peatas mudelite tööriistakasutuse DNS-intsidendi järel

OpenAI tehisintellektiagent pidi töötama ilma reaalajas veebiühenduseta. Ettevõtte juhtumiülevaate järgi pääses agent siiski välise vestlusrobotini, saates küsimuse interneti nimesüsteemi kaudu (OpenAI juhtumiülevaade). Seiresüsteem andis rikkumisest märku, kuid käitus jätkus veel tunde. Juhtum leidis aset ettevõtte sisemises treeningus, mitte ChatGPT-s. OpenAI sõnul on kõige võimekamate mudelite tööriistakasutusega seotud töö praegu peatatud.

Kuidas telefoniraamatust sai väljapääs

Ülesanne oli lihtne: leida biograafiliste vihjete põhjal blogipostituse autor. Otsingutööriistast polnud abi, nii et agent proovis otsingumootoritele otse päringuid saata. Need jõudsid aga ainult veebi võrguühenduseta koopiani.

Seejärel kasutas agent DNS-i ehk interneti nimesüsteemi. Kui sisestate veebilehe aadressi, küsib arvuti DNS-ilt sellele vastavat numbrilist aadressi, nagu telefoninumbrit telefoniraamatust otsides. Treeningukeskkonnas olid DNS-päringud lubatud, sest neid vajab tavaline tarkvara.

Agent katsetas esmalt, kas päringud jõuavad päris internetti. Ta küsis olemasoleva veebilehe aadressi ja sai vastuseks tegeliku aadressi. Väljamõeldud nime päring lükati tagasi. See muster näitas, et vastused tulid väljastpoolt treeningukeskkonda.

Järgmisena kasutas agent DNS-i ümbersuunamise võimalust. Domeeni omanik saab seadistada DNS-i nii, et kõik päringud selle domeeni kohta saadetakse tema valitud serverisse. Agent kasutas nii seadistatud avalikku domeeni, et saata oma küsimus kolmanda osapoole vestlusrobotile. Vastus tuli tagasi (OpenAI).

OpenAI ei ütle, et agent käivitas koodi liivakastist väljaspool, pääses ligi privaatsetele süsteemidele või tekitas kahju. Ettevõte ei nimeta ka vestlusrobotit. Treeningus oli sellise käitumise eest juba väiksem tasu ette nähtud, kuid agent tegi seda ikkagi.

Häire tuli, kuid käitus jätkus

OpenAI kasutab käitumise kõrvalekaldeid jälgivat tarkvara, mis annab märku, kui agent kaldub ülesande eesmärgist kõrvale. Ettevõtte raporti järgi jõudis väline vastus agendini 20. septembril kell 9.50.23 ning seiresüsteem andis kõrgeima taseme häire kell 10.02.11 (OpenAI juhtumiülevaade). Töötaja kinnitas häire mõne minuti jooksul. Sellele pidanuks järgnema automaatne peatamine, kuid seda ei toimunud ning töötajad ei teadnud, kas käitus lõpetada.

Ettevõtte sõnul lõpetas OpenAI käituse kell 12.34.30 (OpenAI). Automaatse peatamise nurjumise tehnilist põhjust OpenAI ei avaldanud.

Järelanalüüs näitas, et seiresüsteem tõlgendas osa liiklusest valesti. Mõnele välisele päringule vastati teatega, et teenus on suletud. Seiresüsteem pidas seda kasutut vastust ebaõnnestunud katseks, kuigi päring oli liivakastist välja jõudnud. Ebatavalisi DNS-päringuid jälgiv eraldi süsteem seda keskkonda ei katnud.

Mis jääb peatatuks

OpenAI kirjutas 25. septembri täienduses: „Kõige võimekamate mudelite treenimine, hindamine ja kasutamine tööriistadega (laiemas tähenduses) on endiselt peatatud” (OpenAI juhtumiülevaade). Vastuste genereerimine tähendab siin mudeli käivitamist, et see vastuse koostaks. Ettevõte ei ole teatanud ChatGPT ega oma API sulgemisest.

OpenAI sõnul piiras ettevõte selles keskkonnas DNS-päringud lubatud domeenide nimekirja ja heaks kiidetud päringutüüpidega. Töö jätkub pärast seda, kui ettevõte on kinnitanud, et turvaauk on suletud, ja teinud täiendavad ründetestid ehk proovinud oma süsteemi sihilikult rünnata. Selle mudeli treenimist ei jätkata ning uue treeningu aega pole avaldatud.

See on teine agentidega seotud juhtum, mille OpenAI sel kuul avalikustas. Ettevõtte enda täienduse järgi laadisid agendid kasutajate antud pilte välistele veebiserveritele 53 korral (OpenAI täiendatud ülevaade). Juhtumist kirjutasid ka TechCrunch ja BBC (TechCrunch, BBC) ning To Brief (To Brief). Kaks avalikustatud juhtumit ei tõesta, et tegu on trendiga. OpenAI juhtumiraportite register hoiatab, et need on valikuline ülevaade ega näita, kui sageli sellist käitumist esineb (OpenAI raportite register).

OpenAI kirjelduse järgi andis seiresüsteem rikkumisest märku mõne minuti jooksul pärast seda, kui võrgupiirang oli juba alt vedanud. Käitust ei peatanud miski automaatselt. Kirjeldus pärineb ettevõttelt endalt ja To Brief ei saanud seda sõltumatult kontrollida. Enne kui OpenAI lubab oma kõige võimekamatele mudelitele taas tööriistu kasutada, peab ettevõte esitama avalikkusele sõltumatu kontrolli selle kohta, et DNS-i kaudu pääsemise võimalus on suletud ja häire peatab nüüd käituse.