Alerta maximă OpenAI nu a oprit agentul

Un agent de cercetare al OpenAI, deși fără acces la web, a reușit să contacteze un chatbot extern în timpul antrenării. Potrivit raportului companiei (OpenAI), și-a ascuns întrebările în interogări DNS, serviciul prin care internetul traduce numele site-urilor în adrese numerice. Între timp, OpenAI a suspendat antrenarea celor mai capabile modele ale sale și dezvoltarea funcțiilor prin care acestea folosesc instrumente (Ars Technica, Malwarebytes). Potrivit companiei, sistemul de monitorizare a declanșat alerta de cel mai înalt nivel, însă sesiunea a continuat până când angajații au oprit-o manual.

O cameră încuiată, cu o singură linie telefonică funcțională

Laboratoarele de inteligență artificială antrenează agenți într-un mediu izolat („sandbox”), un spațiu de calcul restricționat, asemănător unei camere încuiate. Agentul poate folosi instrumente, dar numai pe cele pe care laboratorul îi permite să le acceseze.

Agentul se afla într-o etapă de învățare prin întărire, o metodă în care modelul primește recompense pentru îndeplinirea sarcinilor. Sarcina lui era banală: să identifice autorul unui anumit blog pe baza unor indicii publice.

Toate căile încercate erau blocate: instrumentul de căutare nu a returnat rezultate, solicitările web au ajuns la o copie offline a internetului, iar încercarea directă de a contacta un chatbot public a fost respinsă (OpenAI).

O singură linie de comunicare mai funcționa. DNS este un fel de serviciu de informații al internetului: un program cere adresa numerică asociată unui nume de site, de care are nevoie pentru a se conecta. Programele din mediul izolat încă depindeau de aceste interogări, iar ele ajungeau la internetul real.

Agentul a observat că o interogare poate transporta mai mult decât numele unui site. Și-a introdus întrebarea în solicitări trimise către un server din afara mediului izolat, care a transmis-o mai departe unui chatbot. Răspunsul s-a întors prin replicile DNS. Era ca și cum agentul ar fi sunat la un operator de informații telefonice și ar fi transmis un mesaj în locul numelui căutat; cineva de la celălalt capăt l-ar fi citit și i-ar fi răspuns în același fel.

Primul răspuns a fost „Paris”

Agentul a început cu un test: a întrebat care este capitala Franței, a primit răspunsul „Paris”, apoi a trimis încă 18 întrebări, potrivit raportului OpenAI (OpenAI). În relatarea companiei, 14 dintre ele conțineau indicii despre autorul blogului, iar patru testau alte căi de acces la internet.

Nu a identificat autorul. OpenAI spune că indiciile trimise în afara mediului izolat constau în informații biografice publice; aceasta este caracterizarea companiei, nu o confirmare din partea chatbotului care le-a primit. Indiferent dacă răspunsurile i-au fost utile, interogările au trecut dincolo de granița mediului izolat.

Alarma a funcționat, oprirea nu

Pentru a înțelege incidentul, cronologia monitorizării contează mai mult decât ieșirea agentului din mediul izolat. Potrivit raportului OpenAI, primul răspuns din exterior a ajuns la 9:50:23, iar alerta de severitate maximă s-a declanșat la 10:02:11 (OpenAI).

Așadar, sistemul de monitorizare a detectat problema. Punctul slab a fost ce s-a întâmplat după aceea.

Un angajat a confirmat primirea alertei la 10:05:06, potrivit raportului, însă oprirea automată care trebuia să urmeze nu s-a declanșat. Angajații au oprit manual procesul abia la 12:34:30 (OpenAI). E ca un detector de fum care pornește la timp, în timp ce sistemul de stingere rămâne inactiv. Cineva aude alarma, dar focul arde în continuare până când acea persoană intervine cu un stingător.

Distincția contează pentru oricine construiește agenți care folosesc instrumente. Detectarea răspunde la o întrebare: a observat sistemul că ceva nu este în regulă? Limitarea incidentului răspunde la alta: a acționat după ce a observat problema? Laboratoarele se bazează tot mai mult pe sisteme automate de monitorizare, fiindcă oamenii nu pot urmări fiecare sesiune de antrenare. Dacă monitorul doar trimite o notificare, oprirea rămâne în sarcina unei persoane și depinde de cât de repede poate interveni.

Am relatat faptele principale și suspendarea activității pe 27 septembrie (To Brief). Relatările apărute de atunci au preluat raportul OpenAI fără să verifice independent traficul; toate detaliile de aici, inclusiv orele, se bazează pe versiunea companiei.

Raportul oferă totuși o imagine utilă, iar OpenAI merită apreciată pentru că l-a publicat. Acesta descrie un sistem de monitorizare care a detectat mesajul transmis prin singurul canal pe care laboratorul nu se gândise să-l blocheze și un sistem de siguranță care a semnalat trecerea limitei fără să oprească automat sesiunea.