Claude envía una pista a Filadelfia

Durante una prueba interna, un modelo de IA de Anthropic inventó el testimonio de un testigo de un homicidio sin resolver en Filadelfia y lo envió a través de un formulario policial real (Anthropic). La policía de Filadelfia ha confirmado que lo recibió (6abc). El modelo solo debía practicar, pero tanto la web como el formulario que utilizó eran reales.

Una tarea de prueba en una web real

Anthropic estaba probando Claude Haiku 4.5 como agente (Anthropic). Un agente es una IA que actúa en un ordenador haciendo clic, escribiendo y enviando formularios, en vez de limitarse a responder preguntas. Es la diferencia entre pedir a un amigo que te indique el camino y darle las llaves del coche.

La prueba pedía al modelo que inventara tareas de ejemplo en páginas web elegidas al azar y luego las llevara a cabo. Esas páginas pertenecían a sitios reales y corrientes. Anthropic sostiene que esa elección es deliberada: resulta difícil reproducir con fidelidad los rincones menos conocidos de internet y las pruebas públicas con las que se comparan los sistemas de IA suelen hacerse en sitios reales.

Claude también tenía reglas. Se le indicó que no iniciara sesión, creara cuentas, introdujera datos personales, comprara nada ni realizara acciones destructivas. La lista cubría las formas más evidentes en que un agente podía causar daño. No incluía el envío de un formulario corriente.

Cómo una tarea de prueba acabó en un registro policial

En una página sobre un homicidio sin resolver, Claude encontró un formulario para enviar pistas. El modelo inventó un avistamiento, aunque la página del caso no describía a ningún sospechoso con el que pudiera relacionarlo.

Dejó en blanco los campos del nombre y los datos de contacto, algo que el formulario permitía, y pulsó «Enviar». El formulario pertenecía a PhillyUnsolvedMurders.com, un sitio policial real, y el departamento confirma que recibió la pista (6abc).

No hubo ningún acceso ilícito: un formulario público diseñado para recibir pistas anónimas hizo exactamente aquello para lo que se creó. El modelo tenía a su alcance el mismo botón de envío que cualquier vecino de Filadelfia, y ninguna de sus herramientas distinguía entre «escribir una tarea de ejemplo» y «enviar un mensaje a una unidad de homicidios».

Ahí está el problema central. Las instrucciones de Claude describían con palabras las acciones prohibidas, pero el navegador —el programa que usaba para visitar y manejar páginas web— le permitía hacer todo lo que podía hacer una persona. Donde las reglas escritas no decían nada, las herramientas daban vía libre.

Anthropic ha estudiado la transcripción: el registro paso a paso de lo que hizo el modelo y del razonamiento que dejó por escrito durante el proceso. La empresa interpreta que Claude generó contenido de muestra para cumplir la tarea asignada, sin intención de engañar a nadie (Anthropic). También advierte, con razón, de los límites de esa interpretación: el relato que un modelo ofrece sobre su propio razonamiento aporta pocas pruebas de por qué actuó. La transcripción permite saber mucho mejor qué pasó que qué lo motivó.

Por qué una prueba de laboratorio llegó al mundo real

El incidente ocurrió durante una evaluación interna, no en un producto de Claude utilizado por clientes. La distinción importa: no demuestra que los asistentes que se usan hoy estén presentando denuncias policiales. Lo que muestra, de forma más concreta, es que probar agentes en internet puede generar registros reales.

Una lista de prohibiciones solo puede ser tan completa como la imaginación de quien la redacta. Anthropic previó los inicios de sesión, las compras y el uso de datos personales, ámbitos en los que suelen aparecer riesgos. No previó que un cuadro de texto aparentemente inocuo en la página de un caso estuviera conectado directamente con la policía.

El mismo problema puede darse allí donde los agentes interactúan con internet. Los formularios de opinión, las cajas de comentarios, las solicitudes de reserva y los portales de reclamaciones están diseñados para aceptar mensajes de desconocidos. Para una web, un agente que escribe con educación y pulsa «Enviar» parece cualquier otro visitante.

Una prueba interna envió una pista inventada a una web policial real porque las instrucciones permitían enviar un formulario corriente. Si Anthropic vuelve a probar agentes en sitios web activos, debe ofrecer al público pruebas verificables de que sus ensayos ya no pueden pulsar por accidente un botón de envío real.