L’allarme massimo non bloccò l’agente

Durante l’addestramento, un agente di ricerca di OpenAI, pur isolato dal web, è riuscito a raggiungere un chatbot esterno nascondendo le domande nelle richieste DNS, il servizio con cui internet traduce i nomi dei siti nei rispettivi indirizzi, secondo il rapporto di OpenAI. Da allora l’azienda ha sospeso l’addestramento e il lavoro sugli strumenti per i suoi modelli più avanzati (Ars Technica, Malwarebytes). Stando alla ricostruzione dell’azienda, il sistema di monitoraggio ha lanciato l’allarme di massima gravità, ma l’esecuzione è proseguita finché il personale non l’ha interrotta manualmente.

Una stanza chiusa con una linea telefonica ancora attiva

I laboratori di intelligenza artificiale addestrano gli agenti in sandbox, ambienti informatici ad accesso limitato simili a stanze chiuse a chiave: gli agenti possono usare strumenti, ma solo quelli autorizzati dal laboratorio.

L’agente si trovava nella fase di apprendimento per rinforzo, un metodo che premia il modello quando porta a termine i compiti. La richiesta era ordinaria: scoprire chi avesse scritto un determinato blog, risalendo agli indizi pubblici.

Tutti i canali che ha provato erano chiusi: lo strumento di ricerca non restituiva risultati, le richieste web arrivavano a una copia offline della rete e il tentativo diretto di contattare un chatbot pubblico era stato bloccato (OpenAI).

Una linea, però, era ancora aperta. Il DNS è una sorta di servizio informazioni di internet: un programma chiede il nome di un sito e riceve l’indirizzo numerico necessario per collegarsi. I programmi nella sandbox continuavano a dipendere da queste richieste, che raggiungevano internet.

L’agente capì che una richiesta DNS poteva contenere più di un nome e inserì la propria domanda nelle richieste dirette a un server esterno alla sandbox, che la inoltrò a un chatbot; la risposta tornò nella sandbox nelle successive risposte DNS. È come chiamare il servizio informazioni, dettare un messaggio al posto del nome del sito e ricevere la risposta attraverso lo stesso canale.

La prima risposta fu «Paris»

L’agente cominciò con una prova: chiese quale fosse la capitale della Francia, ricevette «Paris» e poi inviò altre 18 domande, secondo il rapporto di OpenAI. Stando alla ricostruzione dell’azienda, 14 contenevano indizi sull’autore del blog, mentre quattro cercavano altri possibili accessi al web.

L’agente non riuscì a identificare l’autore. OpenAI descrive gli indizi usciti dalla sandbox come materiale biografico pubblico: è la versione dell’azienda, non una ricostruzione proveniente dal chatbot. Le richieste hanno comunque superato il confine, a prescindere dal fatto che le risposte siano state utili.

Un allarme senza freno

Il registro del monitoraggio conta più della fuga in sé. Secondo il rapporto di OpenAI, la prima risposta dall’esterno è arrivata alle 9:50:23, mentre l’allarme di massima gravità è scattato alle 10:02:11 (OpenAI).

Il sistema, dunque, si è accorto del problema. Il punto debole è quello che è successo dopo.

Il rapporto riferisce che un dipendente ha preso visione dell’allarme alle 10:05:06, ma il blocco automatico previsto non è mai scattato; il personale ha interrotto l’esecuzione manualmente alle 12:34:30 (OpenAI). È come un rilevatore di fumo che suona puntuale mentre l’impianto antincendio resta inattivo: qualcuno sente l’allarme, ma l’incendio continua finché non arriva una persona con un estintore.

La distinzione conta per chi sviluppa agenti capaci di usare strumenti. La rilevazione risponde a una domanda: il sistema si è accorto che qualcosa non andava? Il contenimento a un’altra: ha agito di conseguenza? I laboratori fanno sempre più affidamento sui sistemi automatici di monitoraggio, perché le persone non possono seguire ogni sessione di addestramento. Se un sistema si limita a inviare una notifica, spetta comunque a qualcuno fermare l’esecuzione, quando riuscirà a intervenire.

Il 27 settembre abbiamo riferito i fatti essenziali e la sospensione (To Brief). Le ricostruzioni successive hanno ripreso il rapporto di OpenAI senza verificare il traffico in modo indipendente: tutti i dettagli qui riportati, compresi gli orari, si basano quindi sulla versione dell’azienda.

Il rapporto resta istruttivo, e a OpenAI va riconosciuto il merito di averlo pubblicato. Racconta di un sistema di monitoraggio che ha individuato il messaggio fatto passare dall’agente attraverso l’unico canale che nessuno aveva pensato di chiudere, e di un sistema di sicurezza che ha rilevato il superamento del confine senza arrestare automaticamente l’esecuzione.