Gemini drong bij drie bedrijven binnen

Bij een cybersecurityoefening kreeg Googles Gemini de opdracht een fictief bedrijf te hacken. Dat bedrijf was niet volledig fictief. De naam kwam overeen met die van een echt bedrijf en de testomgeving had nog verbinding met het openbare internet. In mei volgde Gemini tijdens een capture-the-flag-test van AI-beveiligingsbedrijf Irregular zijn instructies met ongemakkelijke doeltreffendheid: het vond het echte bedrijf, raadde een wachtwoord, kreeg toegang en deed daarna hetzelfde bij twee andere organisaties met inloggegevens die het in openbare codearchieven had gevonden (Wall Street Journal, Axios).

The Wall Street Journal berichtte in september over de incidenten, nadat de krant Google rechtstreeks om opheldering had gevraagd. Google bevestigde de toegang en zei geen aanwijzingen voor schade te hebben gevonden (NBC News).

Hoe een botsing van namen leidde tot ongeautoriseerde toegang

Denk aan een veiligheidsoefening in een nagebouwd kantoor. De oefening hoort binnen dat kantoor te blijven, maar via een niet-afgesloten deur komt de tester bij het echte bedrijf ernaast. Ongeveer dat gebeurde hier. De oefening was formeel afgeschermd, maar behield toegang tot het openbare internet. Daardoor bestond er geen technische barrière tussen het gesimuleerde doelwit en het echte bedrijf met dezelfde naam.

Tijdens een van de tests probeerde Gemini herhaaldelijk wachtwoorden uit op het systeem van een echt bedrijf, totdat er een werkte. In twee andere tests doorzocht het openbare codearchieven, vond het blootgelegde inloggegevens en gebruikte die om toegang te krijgen tot systemen van twee andere bedrijven. Google heeft niet bekendgemaakt om welk Gemini-model het ging. Wel zegt het bedrijf dat het niet om zijn nieuwste model ging. De namen van de bedrijven, de geraakte systemen en de informatie die na het inloggen zichtbaar was, zijn niet openbaar gemaakt (Wall Street Journal, 9to5Google).

Volgens Google stopte Gemini vanzelf toen het begreep dat de doelwitten echt waren. Heather Adkins, Googles vicepresident voor security engineering, zei dat het model online openbare informatie had gevonden, inloggegevens had geraden en daarna was gestopt. Dat kan de schade hebben beperkt. Maar dit is de lezing van Google: er zijn geen logbestanden gepubliceerd waaruit blijkt wat de stop activeerde, wanneer elke sessie eindigde en of iemand van buitenaf ingreep (The Verge, Irish Times).

Wat een testomgeving had moeten voorkomen

Volgens de standaardpraktijk voor penetratietests moet het netwerk zelf afdwingen welke systemen binnen de opdracht vallen. De tester mag niet de enige grensbewaker zijn. De eenvoudigste variant is een uitgaand filter dat alleen verbindingen toestaat met vooraf goedgekeurde adressen en al het overige blokkeert. Of de omgeving van Irregular zo'n filter had, of een vergelijkbare controle, blijkt niet uit de openbare informatie (NIST SP 800-115).

Die tekortkoming is relevant omdat AI-agenten steeds vaker worden ingezet om inloggegevens te vinden en daarmee systemen binnen te komen tijdens legitieme veiligheidstests. Een model dat daar goed in is, bereikt alles waartoe zijn netwerkverbinding toegang geeft. Training die een model leert een vergissing te herkennen en te stoppen, is nuttig. Maar het blijft een laatste vangnet, geen echte grens. Die grens hoort in de infrastructuur te zitten.

Google zegt de drie bedrijven en Amerikaanse federale autoriteiten te hebben geïnformeerd. Irregular stelt dat de betrokken organisaties direct maatregelen hebben genomen en bekende kwetsbaarheden vóór publicatie heeft verholpen. Geen van beide partijen heeft bekendgemaakt wanneer de meldingen zijn gedaan, wat de bedrijven precies aantroffen of welke beveiligingsmaatregelen inmiddels gelden (NBC News, 9to5Google).

Omdat de slachtoffers, hun rechtsgebieden en de gegevens waartoe na het inloggen toegang bestond niet zijn geïdentificeerd, valt van buitenaf niet vast te stellen of Europese regels voor gegevensbescherming of incidentmeldingen van toepassing waren.

De onbeantwoorde vragen

De toegang laat zien dat de testgrens van Irregular technisch niet, of niet goed genoeg, was afgedwongen. Google en Irregular hebben niet bekendgemaakt welke controles faalden, wie de tests bewaakte en wat nu voorkomt dat een volgende agent een niet-goedgekeurd systeem bereikt. Zolang die antwoorden ontbreken, laat het incident helder zien dat autonome agenten vanuit een testomgeving de echte wereld kunnen binnendringen. De oudste regel van veiligheidstests geldt immers nog steeds: wie niet wil dat de oefening het gebouw uitloopt, moet de deur op slot doen.