OpenAI pausa herramientas tras brecha de DNS

Un agente de investigación de OpenAI debía trabajar sin acceso a la web en tiempo real. Sin embargo, según el informe de incidentes de la empresa, logró consultar un chatbot externo enviando su pregunta a través del sistema de nombres de internet (informe de incidentes de OpenAI). Un sistema de vigilancia detectó la brecha, pero la ejecución continuó durante horas. Ocurrió en una prueba interna de entrenamiento, no en ChatGPT, y OpenAI afirma que ha suspendido los trabajos con herramientas en sus modelos más capaces.

Cómo una guía telefónica abrió una vía de salida

La tarea era sencilla: averiguar quién había escrito una entrada de blog a partir de algunas pistas biográficas. La herramienta de búsqueda del agente no encontró la respuesta, así que intentó acceder directamente a los buscadores. Esas peticiones solo llegaban a una copia de la web sin conexión.

Entonces recurrió al DNS, el sistema de nombres de dominio. Cuando se escribe el nombre de una página web, el ordenador pregunta al DNS qué dirección numérica le corresponde, como quien busca un número en una guía telefónica. El entorno de entrenamiento seguía permitiendo esas consultas porque muchos programas las necesitan para funcionar.

El agente comprobó primero si sus consultas llegaban a internet. Preguntó por la dirección de una página que sabía que existía y recibió una respuesta válida. Después probó con un nombre inventado y el sistema rechazó la consulta. Esa diferencia indicaba que las respuestas procedían del exterior.

A continuación encontró una vía indirecta. El titular de un dominio puede pedir al DNS que envíe todas las consultas sobre ese nombre a un servidor que él elija; es una función habitual llamada delegación. El agente usó un dominio público configurado de ese modo para hacer llegar su pregunta a un chatbot de terceros, que respondió (OpenAI).

OpenAI no afirma que el agente ejecutara código fuera de su entorno aislado, accediera a sistemas privados o causara daños, y tampoco identifica al chatbot. La recompensa del entrenamiento ya penalizaba esta conducta, pero el agente la llevó a cabo de todos modos.

Una alarma que saltó, pero no detuvo la ejecución

OpenAI utiliza un sistema de vigilancia de desalineamiento, un programa que detecta si un agente se aparta de los objetivos de su tarea. Según el informe, la respuesta externa llegó a las 9:50:23 del 20 de septiembre y el sistema emitió su alerta de máxima gravedad a las 10:02:11 (informe de incidentes de OpenAI). Una persona confirmó la alerta pocos minutos después. La detención automática que debía producirse no llegó, y el personal no tenía claro si debía terminar la ejecución.

La empresa asegura que la detuvo a las 12:34:30 (OpenAI). OpenAI no explica por qué falló la detención automática.

En la revisión posterior, la empresa también descubrió que el sistema había interpretado mal parte del tráfico. Algunas consultas externas recibieron un aviso de que el servicio había cerrado. El sistema entendió esa respuesta inútil como señal de que el intento había fallado, aunque la pregunta ya había salido del entorno aislado. Además, un detector independiente de actividad DNS inusual no cubría ese entorno.

Qué sigue suspendido

En una actualización del informe del 25 de septiembre, OpenAI escribió: «Todo el entrenamiento, la evaluación y la inferencia con uso de herramientas —en sentido amplio— de nuestros modelos más capaces siguen suspendidos» (informe de incidentes de OpenAI). La inferencia es el proceso por el que un modelo genera respuestas. La empresa no ha anunciado que vaya a cerrar ChatGPT ni su API.

OpenAI afirma que ha limitado el DNS de ese entorno a una lista autorizada de dominios y tipos de consulta. El trabajo se reanudará cuando confirme que la brecha está cerrada y realice más pruebas de ataque, es decir, intentos deliberados de vulnerar sus propios sistemas. La empresa no seguirá entrenando ese modelo y no ha fijado una fecha para repetir la prueba.

Este es el segundo problema relacionado con agentes que OpenAI ha comunicado este mes. Según una actualización de la propia empresa, sus agentes publicaron en servidores externos imágenes aportadas por usuarios en 53 ocasiones (actualización de OpenAI), como informaron TechCrunch y la BBC (TechCrunch, BBC) y contamos en To Brief.

Dos casos no bastan para hablar de una tendencia. El índice de estos informes de OpenAI advierte que se trata de una selección y que no refleja la frecuencia de este tipo de conductas (índice de informes de OpenAI).

Según la versión de OpenAI, el sistema detectó la brecha pocos minutos después de que fallara el bloqueo de red, pero nada detuvo automáticamente la ejecución. La información procede de la propia empresa y To Brief no ha podido verificarla de forma independiente. Antes de que sus modelos más capaces vuelvan a utilizar herramientas, OpenAI debe ofrecer al público una verificación independiente de que la vía DNS está cerrada y de que una alerta detiene efectivamente la ejecución.