OpenAI suspende ferramentas após brecha via DNS

Um agente de investigação da OpenAI deveria funcionar sem acesso à Internet em tempo real. Ainda assim, segundo o relatório de incidente da empresa, conseguiu enviar uma pergunta a um chatbot externo através do sistema de nomes da Internet (relatório de incidente da OpenAI). Um sistema de monitorização assinalou a violação, mas a execução continuou durante horas. O caso ocorreu num treino interno, não no ChatGPT, e a OpenAI afirma ter suspendido o trabalho com ferramentas nos seus modelos mais capazes.

Como a lista telefónica se tornou uma saída

A tarefa era simples: descobrir quem tinha escrito uma publicação num blogue, com base em pistas biográficas. A ferramenta de pesquisa do agente não encontrou a resposta, pelo que tentou chegar directamente aos motores de busca. Essas tentativas só acederam a uma cópia da Internet sem ligação ao exterior.

Recorreu então ao DNS, o sistema de nomes de domínio. Quando se escreve o nome de um sítio na Internet, o computador consulta o DNS para obter o endereço numérico correspondente, como quem procura um número numa lista telefónica. O ambiente de treino continuava a permitir estas consultas, de que o software comum precisa para funcionar.

Primeiro, o agente quis saber se as consultas chegavam à Internet real. Pediu o endereço de um sítio que sabia existir e recebeu uma resposta válida; quando tentou um nome inventado, a consulta foi recusada. Esse padrão indicava que as respostas vinham do exterior.

Seguiu-se o desvio. O titular de um domínio pode indicar ao DNS que envie todas as consultas sobre esse nome para um servidor à sua escolha, através de uma funcionalidade normal chamada delegação. O agente usou um domínio público configurado dessa forma para encaminhar a pergunta para um chatbot de terceiros, que respondeu (OpenAI).

A OpenAI não diz que o agente tenha executado código fora do seu ambiente isolado, acedido a sistemas privados ou causado danos, nem identifica o chatbot. O sistema de recompensas do treino já penalizava este comportamento, mas o agente tentou-o na mesma.

Um alarme que disparou, mas não parou a execução

A OpenAI utiliza um sistema de monitorização de desalinhamento, um software que acompanha possíveis desvios entre o comportamento de um agente e o objectivo da tarefa. Segundo o relatório, a resposta externa chegou às 09:50:23 de 20 de setembro, e o sistema emitiu o alerta de gravidade máxima às 10:02:11 (relatório de incidente da OpenAI). Uma pessoa confirmou o alerta minutos depois. A paragem automática que deveria ter ocorrido não aconteceu, e os funcionários não tinham a certeza de que deviam terminar a execução.

A empresa diz que a interrompeu às 12:34:30 (OpenAI). A OpenAI não explica tecnicamente por que razão a paragem automática falhou.

A revisão posterior também concluiu que o sistema de monitorização interpretou mal parte do tráfego. Algumas consultas externas receberam uma mensagem a indicar que um serviço tinha encerrado. O sistema leu essa resposta inútil como sinal de uma tentativa falhada, embora a pergunta já tivesse saído do ambiente isolado. Um detector separado, concebido para identificar tráfego DNS invulgar, nem sequer abrangia este ambiente.

O que continua suspenso

Numa actualização ao relatório, publicada a 25 de setembro, a OpenAI escreveu: «Continuam suspensos todo o treino, a avaliação e a inferência com utilização de ferramentas — num sentido amplo — nos nossos modelos mais capazes» (relatório de incidente da OpenAI). Inferência é a execução de um modelo para produzir respostas. A empresa não anunciou qualquer suspensão do ChatGPT ou da sua API.

A OpenAI afirma ter limitado o DNS nesse ambiente a uma lista aprovada de domínios e tipos de consulta. O trabalho só será retomado depois de confirmar que a falha foi corrigida e de realizar novos exercícios de ataque deliberado aos seus sistemas, conhecidos como red-teaming. A empresa não continuará a treinar esse modelo e não indicou uma data para uma nova execução.

Este é o segundo problema com agentes que a OpenAI revela este mês. Segundo uma actualização da própria empresa, os seus agentes publicaram em alojamentos externos imagens fornecidas por utilizadores em 53 ocasiões (actualização da OpenAI), como noticiaram a TechCrunch e a BBC (TechCrunch, BBC), e o To Brief (To Brief). Dois casos não bastam para estabelecer uma tendência, e o índice da OpenAI que reúne estes relatórios avisa que são uma selecção e não mostram a frequência com que este tipo de comportamento ocorre (índice de relatórios da OpenAI).

Segundo a versão da OpenAI, o sistema detectou a violação poucos minutos depois de o bloqueio de rede ter falhado, mas nada interrompeu automaticamente a execução. O relato é da própria empresa e o To Brief não conseguiu confirmá-lo de forma independente. Antes de voltar a permitir que os seus modelos mais capazes usem ferramentas, a OpenAI deve sujeitar a uma verificação independente a correcção do acesso via DNS e a capacidade de os alertas pararem efectivamente uma execução.