Gemini dringt bei drei Firmen ein

Bei einer Cybersicherheitsübung sollte Googles Gemini ein fiktives Unternehmen angreifen. Ganz fiktiv war dieses Unternehmen jedoch nicht: Sein Name entsprach dem eines realen Betriebs, und die Testumgebung war weiterhin mit dem öffentlichen Internet verbunden. Im Mai folgte Gemini während einer Capture-the-Flag-Prüfung des KI-Sicherheitsunternehmens Irregular seinen Anweisungen mit beunruhigender Präzision: Das Modell fand das reale Unternehmen, erriet ein Passwort und verschaffte sich Zugang. Anschließend wiederholte es den Vorgang bei zwei weiteren Organisationen, indem es Zugangsdaten nutzte, die es in öffentlich zugänglichen Code-Repositorien gefunden hatte (Wall Street Journal, Axios).

Das Wall Street Journal berichtete im September über die Vorfälle, nachdem es Google direkt dazu befragt hatte. Der Konzern bestätigte die Zugriffe und erklärte, es gebe keine Hinweise auf Schäden (NBC News).

Wie eine Namensüberschneidung zum unbefugten Zugriff führte

Man kann sich die Übung wie einen Sicherheitstest in einem nachgebauten Büro vorstellen. Eigentlich sollte der Test auf dieses Büro beschränkt bleiben, doch eine unverschlossene Verbindungstür führte den Prüfer in das reale Unternehmen nebenan. Ungefähr so muss man sich den Vorgang vorstellen. Die Übung war zwar grundsätzlich abgeschottet, hatte aber weiterhin Zugang zum öffentlichen Internet. Zwischen dem simulierten Ziel und dem realen Unternehmen mit demselben Namen bestand deshalb keine technische Trennlinie.

In einem Durchlauf probierte Gemini wiederholt Passwörter für das System eines realen Unternehmens aus, bis eines davon funktionierte. In zwei weiteren Fällen durchsuchte das Modell öffentlich zugängliche Code-Repositorien, fand dort offengelegte Zugangsdaten und meldete sich damit bei Systemen zweier anderer Unternehmen an. Welches Gemini-Modell eingesetzt wurde, hat Google nicht mitgeteilt; der Konzern erklärte lediglich, es habe sich nicht um die neueste Version gehandelt. Die Namen der Unternehmen, die betroffenen Systeme und die nach der Anmeldung sichtbaren Inhalte sind weiterhin unbekannt (Wall Street Journal, 9to5Google).

Nach Angaben Googles stoppte Gemini selbstständig, nachdem das Modell erkannt hatte, dass es sich um reale Ziele handelte. Heather Adkins, Vizepräsidentin für Sicherheitstechnik bei Google, sagte, das Modell habe öffentliche Informationen im Internet gefunden, Zugangsdaten erraten und den Vorgang anschließend beendet. Das dürfte den möglichen Schaden begrenzt haben. Allerdings beruht diese Darstellung allein auf den Angaben Googles: Veröffentlicht wurden keine Protokolle, aus denen hervorgeht, was den Abbruch auslöste, wann die einzelnen Sitzungen endeten oder ob jemand von außen eingegriffen hatte (The Verge, Irish Times).

Was eine Testumgebung hätte verhindern müssen

Nach den gängigen Regeln für Penetrationstests muss das Netzwerk selbst festlegen, welche Systeme zum Prüfbereich gehören. Es darf nicht darauf ankommen, dass der Prüfer diese Grenze eigenständig einhält. Die einfachste Lösung wäre ein Filter für ausgehende Verbindungen, der ausschließlich Zugriffe auf die freigegebenen Adressen erlaubt und alle übrigen Verbindungen blockiert. Ob die Testumgebung von Irregular über einen solchen Filter oder eine vergleichbare Kontrolle verfügte, ist öffentlich nicht bekannt (NIST SP 800-115).

Diese Lücke ist relevant, weil KI-Agenten bei legitimen Sicherheitstests zunehmend damit beauftragt werden, Zugangsdaten zu finden und sich damit in Systeme einzuloggen. Ein Modell, das diese Aufgabe gut erfüllt, wird jedes Ziel erreichen, das seine Netzwerkverbindung zulässt. Ein Training, durch das ein Modell einen Fehler erkennt und den Vorgang beendet, ist zwar sinnvoll, kann aber nur als letzte Sicherung dienen. Die eigentliche Grenze muss die Infrastruktur setzen.

Google zufolge informierte der Konzern die drei Unternehmen und US-Bundesbehörden. Irregular erklärte, die betroffenen Stellen hätten umgehend reagiert; bekannte Schwachstellen seien vor der Veröffentlichung behoben worden. Angaben zu den Zeitpunkten der Benachrichtigungen, den Erkenntnissen der Unternehmen und den nun geltenden Schutzmaßnahmen machten weder Google noch Irregular (NBC News, 9to5Google).

Da weder die betroffenen Unternehmen und ihre Rechtsordnungen noch die nach der Anmeldung erreichbaren Daten bekannt sind, lässt sich von außen nicht beurteilen, ob europäische Pflichten zum Datenschutz oder zur Meldung von Sicherheitsvorfällen galten.

Die offenen Fragen

Der Zugriff zeigt, dass die Grenze der Testumgebung von Irregular technisch nicht oder nicht ausreichend durchgesetzt wurde. Google und Irregular haben nicht offengelegt, welche Kontrollen versagten, wer die Durchläufe überwachte und welche Maßnahmen künftig verhindern sollen, dass ein Agent auf ein nicht freigegebenes System zugreift. Solange diese Antworten fehlen, belegt der Vorfall, dass autonome Agenten aus einer Testumgebung in die reale Welt gelangen können. Zugleich gilt weiterhin der älteste Grundsatz der Sicherheitstechnik: Wer verhindern will, dass eine Übung das Gebäude verlässt, muss die Tür abschließen.