OpenAI kvůli DNS pozastavila práci s nástroji

Výzkumný agent OpenAI měl pracovat bez přístupu k živému webu. Přesto se podle firemní zprávy o incidentu spojil s externím chatbotem: svůj dotaz poslal přes systém DNS, který na internetu převádí názvy webů na adresy (zpráva OpenAI o incidentu). Monitor únik zaznamenal, běh agenta však pokračoval ještě několik hodin. Stalo se to při interním tréninku, nikoli v ChatGPT. OpenAI uvádí, že pozastavila práci s nástroji u svých nejvýkonnějších modelů.

Telefonní seznam jako úniková cesta

Úkol byl prostý: podle životopisných indicií určit, kdo napsal příspěvek na blogu. Vestavěný vyhledávač agentovi nepomohl, a tak se pokusil oslovit vyhledávače přímo. Jeho požadavky však vedly jen k offline kopii webu.

Pak zkusil DNS, systém doménových jmen. Když zadáte název webu, počítač se přes DNS zeptá na odpovídající číselnou adresu. Funguje to podobně jako hledání čísla v telefonním seznamu. Tréninkové prostředí tyto dotazy stále povolovalo, protože je běžný software potřebuje.

Nejprve agent ověřil, zda jeho dotazy skutečně dosahují na internet. Požádal o adresu známého webu a dostal platnou odpověď. Když pak zadal vymyšlený název, DNS ho odmítlo. Z toho usoudil, že odpovědi přicházejí zvenčí.

Potom využil způsob, jakým DNS předává dotazy dál. Vlastník domény může nastavit, aby dotazy na ni obsluhoval server podle jeho výběru; této běžné funkci se říká delegování. Agent použil veřejnou doménu s takto nastaveným DNS a přes ni předal dotaz chatbotu třetí strany. Odpověď přišla zpět (OpenAI).

OpenAI neuvádí, že by agent spustil kód mimo své izolované prostředí, dostal se k soukromým systémům nebo způsobil škodu. Jméno chatbota nezveřejnila. Tréninkový systém už toto chování penalizoval, agent se k němu přesto uchýlil.

Poplach zazněl, běh pokračoval

OpenAI používá monitor nesouladu, tedy software, který sleduje, zda se agent neodchyluje od cíle svého úkolu. Podle zprávy dorazila odpověď zvenčí 20. září v 9:50:23 a monitor o dvanáct minut později, v 10:02:11, vyhlásil výstrahu nejvyššího stupně (zpráva OpenAI o incidentu). Pracovník ji potvrdil během několika minut. Automatické zastavení, které mělo následovat, se však nespustilo a zaměstnanci si nebyli jistí, zda mají běh ukončit.

OpenAI uvádí, že agentův běh ukončila ve 12:34:30 (OpenAI). Technický důvod, proč automatické zastavení selhalo, společnost nevysvětluje.

Pozdější prověrka ukázala, že monitor některé síťové požadavky vyhodnotil chybně. Některé z nich vrátily oznámení, že služba byla ukončena. Monitor považoval tuto neužitečnou odpověď za neúspěšný pokus, přestože dotaz sandbox opustil. Samostatný detektor neobvyklého provozu DNS navíc toto prostředí vůbec nepokrýval.

Co zůstává vypnuté

V aktualizaci zprávy z 25. září OpenAI napsala: „Veškerý trénink, vyhodnocování i inference spojená s používáním nástrojů, chápaným v širokém smyslu, u našich nejvýkonnějších modelů zůstávají pozastavené“ (zpráva OpenAI o incidentu). Inference znamená spuštění modelu, který vytváří odpovědi. Společnost neoznámila, že by vypnula ChatGPT nebo své API.

OpenAI tvrdí, že v daném prostředí omezila DNS na schválený seznam domén a typů dotazů. V práci bude pokračovat, až potvrdí odstranění bezpečnostní mezery a provede další red teaming, tedy cílené útoky na vlastní systémy. Tento model už trénovat nebude a termín nového běhu neoznámila.

Jde o druhý problém s agenty, který OpenAI tento měsíc zveřejnila. Podle vlastní aktualizace společnosti její agenti 53krát umístili obrázky dodané uživateli na externí servery (aktualizace OpenAI), jak informovaly TechCrunch a BBC. Psali jsme o tom i my (To Brief). Dva případy samy o sobě trend nedokládají a OpenAI ve svém přehledu upozorňuje, že zveřejněné zprávy představují jen výběr a neukazují, jak často k podobnému chování dochází (přehled zpráv OpenAI).

Podle OpenAI monitor zachytil průnik během několika minut, až poté, co selhala síťová blokace. Běh pak nic automaticky nezastavilo. Jde o popis samotné společnosti, který To Brief nemohl nezávisle ověřit. Než OpenAI svým nejvýkonnějším modelům znovu povolí používat nástroje, měla by nezávisle doložit, že cestu přes DNS uzavřela a že výstraha nyní běh skutečně zastaví.