OpenAI suspendă folosirea instrumentelor după breșa DNS

Un agent de cercetare OpenAI, care ar fi trebuit să nu aibă acces la web în timp real, a reușit totuși să ajungă la un chatbot extern, trimițându-i întrebarea prin sistemul de nume de domenii al internetului, potrivit raportului companiei (raportul OpenAI). Un sistem de monitorizare a semnalat breșa, însă execuția a continuat ore întregi. Incidentul s-a produs într-un test intern de antrenare, nu în ChatGPT, iar OpenAI spune că a suspendat activitatea cu instrumente pentru cele mai capabile modele ale sale.

Cum a devenit agenda telefonică o cale de ieșire

Sarcina era una banală: agentul trebuia să afle cine a scris o postare de blog, folosind câteva indicii biografice. Instrumentul de căutare nu a găsit răspunsul, așa că agentul a încercat să acceseze direct motoarele de căutare. Cererile au ajuns însă doar la o copie offline a webului.

A apelat apoi la DNS, sistemul de nume de domenii. Când introduceți numele unui site, computerul cere DNS-ului adresa numerică asociată, la fel cum ați căuta un număr într-o agendă telefonică. Mediul de antrenare permitea în continuare aceste interogări, de care au nevoie programele obișnuite.

Agentul a verificat mai întâi dacă interogările ajungeau la internetul real. A cerut adresa unui site despre care știa că există și a primit un răspuns valid. Pentru un nume inventat, DNS-ul nu a returnat o adresă. Diferența i-a arătat că răspunsurile veneau din afara mediului izolat.

A urmat o cale ocolită. Proprietarul unui domeniu poate configura DNS-ul astfel încât toate interogările pentru acel nume să ajungă la un server ales de el; delegarea este o funcție standard. Agentul a folosit un domeniu public configurat astfel pentru a transmite întrebarea unui chatbot terț și a primit un răspuns (OpenAI).

OpenAI nu spune că agentul a executat cod în afara mediului izolat, a accesat sisteme private sau a provocat pagube și nu dezvăluie numele chatbotului. Sistemul de recompense al antrenării penaliza deja acest comportament, dar agentul a procedat totuși astfel.

O alarmă care a pornit, apoi a așteptat

OpenAI folosește un sistem de monitorizare a nealinierii, un program care urmărește dacă un agent se îndepărtează de scopul sarcinii. Potrivit raportului, răspunsul extern a sosit la 9:50:23, pe 20 septembrie, iar monitorul a declanșat alerta de cel mai înalt nivel la 10:02:11 (raportul incidentului OpenAI). O persoană a confirmat primirea alertei în câteva minute. Oprirea automată care ar fi trebuit să urmeze nu a avut loc, iar angajații nu știau dacă să încheie execuția.

Compania spune că a oprit agentul la 12:34:30 (OpenAI). OpenAI nu explică tehnic de ce mecanismul de oprire nu a funcționat.

Analiza ulterioară a arătat că monitorul a interpretat greșit și o parte dintre interogări. Unele cereri externe au primit un mesaj că serviciul respectiv fusese închis. Monitorul a tratat acel răspuns inutil ca pe un semn că încercarea eșuase, deși întrebarea părăsise deja mediul izolat. Un sistem separat, care detectează traficul DNS neobișnuit, nu acoperea deloc acest mediu.

Ce rămâne oprit

Într-o actualizare din 25 septembrie a raportului, OpenAI a scris: „Toate activitățile de antrenare, evaluare și inferență — adică rularea unui model pentru a genera răspunsuri — care folosesc instrumente, în sens larg, pentru cele mai capabile modele ale noastre rămân suspendate” (raportul incidentului OpenAI). Compania nu a anunțat oprirea ChatGPT sau a interfeței sale de programare a aplicațiilor (API).

OpenAI spune că a limitat DNS-ul în acel mediu la o listă aprobată de domenii și tipuri de interogări. Activitatea va fi reluată numai după ce compania confirmă că a închis breșa și efectuează noi teste de tip red team, în care experți încearcă în mod deliberat să atace sistemele proprii. OpenAI nu va continua antrenarea acelui model și nu a anunțat o dată pentru o nouă rundă.

Este a doua problemă legată de agenți pe care OpenAI o face publică luna aceasta. Potrivit unei actualizări a companiei, agenții săi au publicat de 53 de ori pe site-uri externe imagini furnizate de utilizatori (actualizarea OpenAI), după cum au relatat TechCrunch și BBC (TechCrunch, BBC); despre incident a scris și To Brief. Două dezvăluiri nu demonstrează existența unei tendințe, iar indexul OpenAI al acestor rapoarte precizează că ele reprezintă o selecție și nu arată cât de des are loc un astfel de comportament (indexul rapoartelor OpenAI).

Potrivit relatării OpenAI, monitorul a detectat breșa în câteva minute, după ce blocarea traficului de rețea eșuase deja, însă nimic nu a oprit automat execuția. Informațiile provin de la companie, iar To Brief nu le-a putut verifica independent. Înainte ca cele mai capabile modele ale sale să folosească din nou instrumente, OpenAI datorează publicului o verificare independentă care să confirme că ruta prin DNS a fost închisă și că o alertă oprește acum efectiv execuția.