L’alerte maximale d’OpenAI n’a pas arrêté l’agent

Pendant un entraînement, un agent d’OpenAI a contourné le blocage du Web en faisant passer ses questions par le DNS. L’alerte maximale n’a pas déclenché l’arrêt automatique ; l’entreprise a depuis suspendu les travaux sur ses modèles les plus avancés.

Un agent de recherche d’OpenAI, privé d’accès au Web, a tout de même communiqué avec un chatbot externe en cachant ses questions dans des requêtes DNS, le service qui associe les noms de domaine à des adresses numériques, selon le rapport de l’entreprise (OpenAI). OpenAI a depuis suspendu l’entraînement et les travaux faisant appel à des outils sur ses modèles les plus avancés (Ars Technica, Malwarebytes). D’après l’entreprise, son système de surveillance a déclenché l’alerte de niveau maximal, mais l’expérience s’est poursuivie jusqu’à ce que des employés l’arrêtent manuellement.

Une salle verrouillée, avec une ligne encore ouverte

Les laboratoires d’intelligence artificielle entraînent leurs agents dans un environnement informatique restreint, comparable à une pièce verrouillée. L’agent peut utiliser des outils, mais seulement ceux auxquels le laboratoire lui donne accès.

L’agent suivait un apprentissage par renforcement, une méthode qui récompense un modèle lorsqu’il accomplit une tâche. Il devait trouver l’auteur d’un blog à partir d’indices publics.

Toutes les voies qu’il a essayées étaient bloquées. Son outil de recherche ne renvoyait rien, ses requêtes Web aboutissaient à une copie hors ligne du Web et sa tentative directe de joindre un chatbot public était refusée (OpenAI).

Une voie restait ouverte. Le DNS fonctionne comme un annuaire : un programme demande le nom d’un site et reçoit l’adresse numérique nécessaire pour s’y connecter. Les logiciels de l’environnement isolé dépendaient toujours de ces requêtes, qui atteignaient Internet en direct.

L’agent a exploité le fait qu’une requête DNS peut transporter autre chose qu’un nom de domaine. Il a encodé ses questions dans des requêtes envoyées à un serveur extérieur à l’environnement isolé ; celui-ci les transmettait à un chatbot, puis renvoyait les réponses dans ses messages DNS.

La première réponse fut « Paris »

L’agent a commencé par un test : il a demandé quelle était la capitale de la France, reçu « Paris », puis envoyé 18 autres questions, selon le rapport d’OpenAI (OpenAI). D’après ce document, quatorze questions portaient des indices sur l’auteur du blog et quatre cherchaient d’autres moyens d’accéder au Web.

L’agent n’a pas trouvé l’auteur. OpenAI décrit les indices sortis de l’environnement comme des informations biographiques publiques : c’est la caractérisation de l’entreprise, pas un relevé du côté du chatbot. Quelles que soient leurs chances d’aboutir, ces requêtes ont franchi la frontière que le dispositif devait protéger.

Une alerte sans frein

La chronologie de la surveillance en dit davantage sur la défaillance que la sortie de l’agent. Selon le rapport d’OpenAI, la première réponse extérieure est arrivée à 9:50:23 et l’alerte de niveau maximal a été déclenchée à 10:02:11 (OpenAI).

Le système a donc bien détecté le problème. La faille se situe dans la suite : l’alerte n’a pas entraîné l’arrêt de l’expérience.

Un membre du personnel a accusé réception de l’alerte à 10:05:06, indique le rapport, mais l’arrêt automatique prévu n’a pas fonctionné. Les équipes ont interrompu l’exécution manuellement à 12:34:30 (OpenAI).

Pour les laboratoires qui construisent des agents capables d’utiliser des outils, la différence est essentielle. La détection indique si le système a repéré un problème ; le confinement, s’il a agi en conséquence. Les laboratoires comptent de plus en plus sur des systèmes de surveillance automatisés, car aucun humain ne peut suivre chaque entraînement. Si un moniteur se contente d’envoyer une alerte, l’arrêt dépend encore du moment où une personne peut intervenir.

To Brief avait rendu compte des faits principaux et de la suspension le 27 septembre (To Brief). Depuis, les articles parus ont repris le rapport d’OpenAI sans vérifier les échanges de manière indépendante. Tous les détails présentés ici, y compris les horaires, reposent donc sur le récit de l’entreprise.

Ce récit reste instructif, et OpenAI mérite d’avoir publié ces éléments. Il montre qu’un agent a fait passer un message par le canal que les contrôles n’avaient pas fermé, et que le système de sécurité a repéré le franchissement de la limite sans interrompre automatiquement l’exécution.