Gemini infiltrou três empresas num teste

Um exercício de cibersegurança pediu ao Gemini, da Google, que pirateasse uma empresa fictícia. A empresa não era inteiramente fictícia: o nome correspondia ao de uma empresa real e o ambiente de teste mantinha uma ligação activa à Internet pública. Em maio, durante uma avaliação capture-the-flag conduzida pela empresa de segurança de IA Irregular, o Gemini seguiu as instruções com uma competência incómoda: encontrou a empresa real, adivinhou uma palavra-passe, entrou no sistema e fez o mesmo com duas outras organizações, utilizando credenciais que descobriu em repositórios públicos de código (Wall Street Journal, Axios).

O Wall Street Journal noticiou os incidentes em setembro, depois de questionar directamente a Google. A empresa confirmou os acessos e afirmou não ter encontrado indícios de danos (NBC News).

Como uma coincidência de nomes se transformou em acesso não autorizado

Imagine-se um exercício de segurança num escritório simulado. O teste deveria permanecer dentro desse escritório, mas uma porta de ligação destrancada permite ao avaliador entrar na empresa real ao lado. Foi, em linhas gerais, o que aconteceu. O exercício estava formalmente isolado, mas mantinha acesso à Internet pública; por isso, não existia uma barreira técnica entre o alvo simulado e a empresa real com o mesmo nome.

Numa das sessões, o Gemini tentou repetidamente palavras-passe no sistema de uma empresa real, até uma delas funcionar. Noutras duas, pesquisou repositórios de código disponíveis publicamente, encontrou credenciais expostas e utilizou-as para entrar em sistemas pertencentes a duas empresas adicionais. A Google não revelou que modelo Gemini esteve envolvido, limitando-se a dizer que não era o mais recente. As empresas, os sistemas acedidos e a informação que ficou visível depois da autenticação continuam por identificar (Wall Street Journal, 9to5Google).

A Google diz que o Gemini parou por iniciativa própria depois de reconhecer que os alvos eram reais. Heather Adkins, vice-presidente de engenharia de segurança da empresa, afirmou que o modelo encontrou informação pública na Internet, adivinhou credenciais e interrompeu a operação. Essa decisão poderá ter limitado os danos. Mas esta é a versão da Google: não foram publicados registos que mostrem o que desencadeou a paragem, quando terminou cada sessão ou se houve intervenção externa (The Verge, Irish Times).

O que um ambiente de teste deveria ter impedido

As práticas correntes de testes de intrusão exigem que seja a própria rede a determinar quais os sistemas abrangidos, em vez de depender da capacidade do avaliador para respeitar os limites. A solução mais simples é um filtro de saída que permita ligações apenas aos endereços aprovados para o exercício e bloqueie todas as outras. Não é público saber se o ambiente da Irregular tinha esse filtro ou um mecanismo equivalente (NIST SP 800-115).

Essa lacuna é relevante porque se pede cada vez mais a agentes de IA que encontrem credenciais e as utilizem para entrar em sistemas no âmbito de testes legítimos de segurança. Um modelo competente nessa tarefa chegará a tudo aquilo que a sua ligação de rede permitir. O treino comportamental, que ensina o modelo a reconhecer um erro e a parar, é útil, mas funciona como último recurso, não como fronteira. A fronteira está na infraestrutura.

A Google diz ter informado as três empresas e as autoridades federais norte-americanas. A Irregular afirma que as entidades afectadas agiram de imediato e que corrigiu os problemas conhecidos antes da publicação. Nenhuma das partes revelou as datas das notificações, o que encontraram as empresas ou quais as salvaguardas específicas entretanto implementadas (NBC News, 9to5Google).

Como não foram identificadas as vítimas, as jurisdições em causa nem os dados acessíveis depois da autenticação, é impossível determinar externamente se eram aplicáveis obrigações europeias de protecção de dados ou de comunicação de incidentes.

As respostas que faltam

O acesso demonstra que os limites do teste da Irregular não estavam tecnicamente assegurados, ou não o estavam de forma suficiente. A Google e a Irregular não revelaram que controlos falharam, quem acompanhava as sessões ou o que impede agora outro agente de chegar a um sistema não autorizado. Enquanto essas respostas não forem públicas, o incidente mostra com clareza que agentes autónomos podem passar de um teste para o mundo real e recorda o princípio mais antigo dos testes de segurança: se não se quer que o exercício saia do edifício, fecha-se a porta.