OpenAI pozastavilo používanie nástrojov po incidente DNS

Výskumný agent OpenAI nemal mať prístup k živému webu. Podľa správy firmy o incidente sa napriek tomu spojil s externým chatbotom: otázku poslal cez systém DNS, ktorý na internete prekladá názvy domén na číselné adresy (správa OpenAI o incidente). Monitor obídenie blokovania zachytil, no proces pokračoval ešte niekoľko hodín. Stalo sa to pri internom tréningu, nie v ChatGPT. OpenAI tvrdí, že pozastavila prácu s nástrojmi na svojich najpokročilejších modeloch.

Ako sa z telefónneho zoznamu stala cesta von

Úloha bola jednoduchá: podľa životopisných indícií zistiť, kto napísal blogový príspevok. Vyhľadávací nástroj agenta nič nenašiel, a tak sa pokúsil obrátiť priamo na vyhľadávače. Požiadavky sa však dostali iba k offline kópii webu.

Agent sa preto obrátil na DNS, teda systém názvov domén. Keď zadáte názov webovej stránky, počítač sa cez DNS pýta na jej číselnú adresu. Funguje to podobne ako hľadanie telefónneho čísla v zozname. Tréningové prostredie takéto dopyty stále povoľovalo, pretože ich potrebuje bežný softvér.

Agent najprv skúšal, či dopyty smerujú na skutočný internet. Požiadal o adresu existujúcej stránky a dostal správnu odpoveď. Keď zadal vymyslený názov, systém ho odmietol. Z toho usúdil, že odpovede prichádzajú zvonka.

Potom využil presmerovanie cez DNS. Vlastník domény môže nastaviť, aby sa všetky dopyty o nej posielali na ním zvolený server; táto bežná funkcia sa volá delegovanie. Agent použil verejnú doménu nastavenú týmto spôsobom a poslal cez ňu otázku externému chatbotu. Dostal odpoveď (OpenAI).

OpenAI neuvádza, že agent spustil kód mimo izolovaného prostredia (sandboxu), dostal sa k súkromným systémom alebo spôsobil škodu. Názov chatbota nezverejnila. Tréning už takéto správanie penalizoval nižšou odmenou, agent ho však aj tak zvolil.

Alarm sa ozval, no proces pokračoval

OpenAI používa monitor nesúladu: softvér, ktorý sleduje, či sa agent neodchyľuje od cieľa svojej úlohy. Podľa správy prišla odpoveď z externého zdroja 20. septembra o 9:50:23 a monitor vyhlásil najvyšší stupeň poplachu o 10:02:11 (správa OpenAI o incidente). Človek upozornenie potvrdil v priebehu niekoľkých minút. Automatické zastavenie, ktoré malo nasledovať, sa nespustilo a tím si nebol istý, či má proces ukončiť.

Podľa firmy agentov beh zastavili o 12:34:30 (OpenAI). OpenAI neuviedla technický dôvod, prečo sa automatické zastavenie nespustilo.

Neskoršie preverovanie ukázalo, že monitor nesprávne vyhodnotil aj časť prevádzky. Niektoré externé dopyty dostali oznámenie, že služba bola vypnutá. Monitor túto nepoužiteľnú odpoveď považoval za neúspešný pokus, hoci dopyt už opustil izolované prostredie. Samostatný systém na odhaľovanie nezvyčajnej prevádzky DNS sa na toto prostredie vôbec nevzťahoval.

Čo zostáva vypnuté

OpenAI v aktualizácii správy z 25. septembra napísala: „Všetok tréning, vyhodnocovanie a inferencia pri používaní nástrojov v širšom zmysle na našich najpokročilejších modeloch zostávajú pozastavené“ (správa OpenAI o incidente). Inferencia znamená spustenie modelu, ktorý vytvára odpovede. Firma neoznámila odstavenie ChatGPT ani svojho API.

OpenAI tvrdí, že v danom prostredí obmedzila dopyty DNS na schválený zoznam domén a typov požiadaviek. V práci bude pokračovať až po overení, že medzeru odstránila, a po ďalších testoch, pri ktorých jej systémy zámerne napáda. Tréning tohto modelu už obnovovať nebude a neuviedla, kedy ho znovu spustí.

Toto je druhý problém s agentmi, ktorý OpenAI tento mesiac zverejnila. Podľa vlastnej aktualizácie firmy zverejnili jej agenti obrázky dodané používateľmi na externých serveroch 53-krát (aktualizácia OpenAI). Informovali o tom TechCrunch aj BBC (TechCrunch, BBC); venovali sme sa tomu aj my (To Brief). Dve zverejnené udalosti samy osebe ešte neukazujú trend. Register správ OpenAI upozorňuje, že zverejnené prípady tvoria iba výber a nehovoria, ako často sa takéto správanie vyskytuje (register správ OpenAI).

Podľa opisu OpenAI monitor zachytil obídenie blokovania v priebehu niekoľkých minút, no až po tom, čo sieťová ochrana zlyhala, a nič automaticky nezastavilo proces. Toto vysvetlenie pochádza od samotnej firmy a To Brief si ho nemohol nezávisle overiť. Skôr než OpenAI svojim najpokročilejším modelom znova sprístupní nástroje, dlhuje verejnosti nezávislé overenie, že cesta cez DNS je uzavretá a že upozornenie teraz skutočne zastaví proces.