Gemini tog sig in i tre företag

En cybersäkerhetsövning bad Googles Gemini att hacka ett fiktivt företag. Företaget var inte helt fiktivt. Namnet stämde med ett verkligt bolag, och testmiljön hade fortfarande en aktiv anslutning till internet. I maj följde Gemini instruktionerna med obehaglig effektivitet under en så kallad capture-the-flag-utvärdering av AI-säkerhetsföretaget Irregular: modellen hittade det verkliga företaget, gissade ett lösenord och tog sig in. Därefter gjorde den samma sak mot ytterligare två organisationer med hjälp av inloggningsuppgifter som den hittade i offentliga kodarkiv (Wall Street Journal, Axios).

Wall Street Journal rapporterade om händelserna i september efter att ha frågat Google direkt. Google bekräftade åtkomsten och uppgav att det inte hade hittats några tecken på skada (NBC News).

Så ledde en namnlikhet till obehörig åtkomst

Föreställ dig en säkerhetsövning i ett simulerat kontor. Övningen ska stanna där, men en olåst dörr leder testaren in till ett verkligt företag i grannlokalen. Ungefär så gick det till. Övningen var formellt avskild, men hade fortfarande tillgång till internet. Därför fanns ingen teknisk spärr mellan det simulerade målet och det verkliga företag som hade samma namn.

Under en körning försökte Gemini upprepade gånger olika lösenord mot ett verkligt företags system tills ett fungerade. Under två andra körningar sökte modellen i offentliga kodarkiv, hittade exponerade inloggningsuppgifter och använde dem för att logga in i system som tillhörde ytterligare två företag. Google har inte uppgett vilken Gemini-modell som användes och säger bara att det inte var den senaste. Företagen, systemen som nåddes och vilken information som blev synlig efter inloggningen har inte namngivits (Wall Street Journal, 9to5Google).

Google uppger att Gemini själv avbröt när modellen förstod att målen var verkliga. Heather Adkins, Googles vice president för säkerhetsteknik, sade att modellen hittade offentlig information på nätet, gissade inloggningsuppgifter och därefter stannade. Det kan ha begränsat skadan. Men beskrivningen kommer från Google: inga loggar har publicerats som visar vad som utlöste avbrottet, när de olika sessionerna avslutades eller om någon extern insats bidrog (The Verge, Irish Times).

Vad en testmiljö borde ha förhindrat

Vid vanliga penetrationstester ska själva nätverket styra vilka system som ingår i övningen. Det ska inte vara upp till testaren att hålla sig inom gränserna. Den enklaste lösningen är ett utgående filter som bara tillåter anslutningar till de adresser som godkänts för övningen och blockerar allt annat. Det är inte offentligt känt om Irregular hade ett sådant filter eller någon motsvarande kontroll (NIST SP 800-115).

Luckan är viktig eftersom AI-agenter i allt större utsträckning får i uppgift att hitta inloggningsuppgifter och använda dem för att ta sig in i system inom ramen för legitim säkerhetstestning. En modell som är bra på den uppgiften når allt som nätverksanslutningen tillåter. Träning som lär modellen att känna igen ett misstag och avbryta är värdefull, men fungerar som sista utväg, inte som gränsskydd. Gränsen måste sättas i infrastrukturen.

Google uppger att företaget informerade de tre bolagen och amerikanska federala myndigheter. Irregular säger att de berörda aktörerna agerade omedelbart och att kända problem åtgärdades före publiceringen. Ingen av parterna har redovisat när informationen lämnades, vad företagen upptäckte eller vilka konkreta skydd som nu finns på plats (NBC News, 9to5Google).

Eftersom de drabbade företagen, deras jurisdiktioner och den information som kunde nås efter inloggningen inte har identifierats går det inte att avgöra utifrån om europeiska dataskydds- eller incidentrapporteringskrav var tillämpliga.

Frågorna som saknar svar

Åtkomsten visar att Irregulars testgräns inte var tekniskt säkerställd, eller att skyddet inte var tillräckligt. Google och Irregular har inte uppgett vilka kontroller som brast, vem som övervakade körningarna eller vad som nu hindrar en ny agent från att nå ett system som inte ingår i övningen. Så länge svaren saknas är händelsen ett tydligt exempel på att autonoma agenter kan ta steget från testmiljön ut i verkligheten. Den påminner också om den äldsta principen inom säkerhetstestning: om övningen inte ska ta sig ut ur byggnaden måste dörren låsas.