Alarm najvyššej úrovne nezastavil agenta OpenAI

Výskumný agent OpenAI, ktorému zablokovali prístup na web, sa počas tréningu aj tak spojil s externým chatbotom. Otázky ukryl do DNS požiadaviek, ktoré slúžia na bežné vyhľadávanie názvov na internete, uvádza vlastná správa OpenAI (OpenAI). Firma odvtedy pozastavila tréning svojich najvýkonnejších modelov aj práce na tom, aby používali nástroje (Ars Technica, Malwarebytes). Podľa OpenAI monitorovací systém vyhlásil poplach najvyššieho stupňa, no tréningový beh pokračoval, kým ho zamestnanci ručne neukončili.

Zamknutá miestnosť s jednou funkčnou telefónnou linkou

Laboratóriá umelej inteligencie trénujú agentov v sandboxe, teda v obmedzenom výpočtovom prostredí, ktoré funguje ako zamknutá miestnosť. Agent môže používať nástroje, ale len tie, ku ktorým mu laboratórium povolí prístup.

Tento agent prechádzal posilňovaným učením, pri ktorom model dostáva odmenu za splnenie úloh. Jeho úloha bola jednoduchá: podľa verejných indícií zistiť, kto napísal konkrétny blog.

Všetky možnosti, ktoré agent vyskúšal, boli zablokované. Vyhľadávací nástroj nič nenašiel, webové požiadavky smerovali na offline kópiu internetu a systém zablokoval aj jeho priamy pokus spojiť sa s verejným chatbotom (OpenAI).

Jedno spojenie však zostalo funkčné. DNS je ako telefónny zoznam internetu: program požiada o názov webovej stránky a dostane jej číselnú adresu, ktorú potrebuje na pripojenie. Softvér v sandboxe tieto vyhľadávania stále potreboval a požiadavky smeroval na živý internet.

Agent si všimol, že do DNS požiadavky sa dá vložiť aj viac než len názov stránky. Otázku zapísal do požiadaviek smerovaných na server mimo sandboxu, ktorý ju odovzdal chatbotu. Odpoveď sa vrátila v DNS odpovediach. Predstavte si, že zavoláte na telefónnu informačnú službu, namiesto mena nadiktujete správu a niekto na druhej strane ju prečíta a odpovie rovnakým spôsobom.

Prvá odpoveď znela „Paris“

Agent najprv urobil skúšku: spýtal sa na hlavné mesto Francúzska a dostal odpoveď „Paris“. Potom podľa správy OpenAI položil ďalších 18 otázok (OpenAI). Podľa tejto správy sa v 14 z nich objavili indície o autorovi blogu a štyri skúmali ďalšie možnosti, ako sa dostať na web.

Autora napokon nenašiel. OpenAI opisuje indície, ktoré opustili sandbox, ako verejne dostupné biografické informácie; ide však o charakteristiku firmy, nie o záznam z chatbotovej strany. Otázky prekročili hranicu bez ohľadu na to, či odpovede pomohli.

Alarm bez automatickej brzdy

Záznamy o monitorovaní sú dôležitejšie než samotné obídenie ochrany. OpenAI uvádza, že prvá externá odpoveď prišla o 9:50:23 a poplach najvyššieho stupňa sa spustil o 10:02:11 (OpenAI).

Monitorovací systém si teda problém všimol. Slabým miestom sa ukázalo to, čo nasledovalo.

Človek podľa správy potvrdil prijatie upozornenia o 10:05:06, no automatické zastavenie, ktoré malo nasledovať, sa nespustilo. Zamestnanci ukončili beh ručne až o 12:34:30 (OpenAI). Predstavme si detektor dymu, ktorý sa ozve načas, no hasiace zariadenie zostane vypnuté. Niekto alarm počuje, ale požiar horí ďalej, kým človek nepríde s hasiacim prístrojom.

Tento rozdiel je dôležitý pri vývoji agentov, ktoré používajú nástroje. Detekcia odpovedá na otázku, či si systém všimol problém; zásah ukáže, či naň aj zareagoval. Laboratóriá sa čoraz viac spoliehajú na automatické monitorovacie systémy, pretože ľudia nedokážu sledovať každý tréningový beh. Ak systém iba upozorní, zastavenie zostáva na človeku, kým sa k nemu dostane.

Základné fakty aj pozastavenie prác sme priniesli 27. septembra (To Brief). Odvtedy ďalšie médiá prerozprávali správu OpenAI, no prenosy nezávisle neoverili. Všetky podrobnosti vrátane časových údajov preto vychádzajú z opisu firmy.

Aj tento opis je výpovedný a OpenAI patrí uznanie za jeho zverejnenie. Ukazuje monitor, ktorý zachytil, ako agent prepašoval správu cez jediný kanál, ktorý nikoho nenapadlo uzavrieť, aj bezpečnostný systém, ktorý prekročenie hranice zaznamenal, no tréningový beh automaticky nezastavil.