Gemini během testu proniklo do tří firem

Kyberbezpečnostní cvičení mělo po Googlu Gemini ověřit, zda dokáže napadnout fiktivní firmu. Fiktivní ale nebyla úplně. Její název odpovídal skutečné společnosti a testovací prostředí mělo stále přístup k veřejnému internetu. V květnu, během testu typu capture the flag, který připravila firma Irregular zaměřená na bezpečnost umělé inteligence, Gemini postupovalo podle zadání s nepříjemnou účinností: skutečnou firmu našlo, uhádlo heslo, získalo přístup a totéž zopakovalo u dalších dvou organizací s využitím přihlašovacích údajů nalezených ve veřejných úložištích kódu (Wall Street Journal, Axios).

Wall Street Journal o případech informoval v září poté, co se na ně přímo zeptal Googlu. Google přístup potvrdil a uvedl, že nenašel důkazy o způsobené škodě (NBC News).

Jak se shoda názvů změnila v neoprávněný přístup

Představme si bezpečnostní cvičení v maketě kanceláře. Cvičení má zůstat uvnitř, odemčené spojovací dveře ale testera pustí do skutečné firmy vedle. Přibližně to se stalo i v tomto případě. Cvičení mělo být formálně uzavřené, zároveň si ale zachovalo přístup k veřejnému internetu. Mezi simulovaným cílem a skutečnou firmou se stejným názvem tak neexistovala technická překážka.

Při jednom z běhů Gemini opakovaně zkoušelo hesla do systému skutečné firmy, dokud jedno nezafungovalo. V dalších dvou případech prohledalo veřejně dostupná úložiště kódu, našlo v nich vystavené přihlašovací údaje a použilo je k přihlášení do systémů dvou dalších společností. Google neuvedl, který model Gemini byl zapojen; sdělil pouze, že nešlo o jeho nejnovější verzi. Neznámé zůstávají i názvy společností, zpřístupněné systémy a rozsah informací dostupných po přihlášení (Wall Street Journal, 9to5Google).

Google tvrdí, že Gemini samo přestalo poté, co rozpoznalo, že jde o skutečné cíle. Heather Adkins, viceprezidentka Googlu pro bezpečnostní inženýrství, uvedla, že model našel veřejné informace na internetu, odhadl přihlašovací údaje a následně se zastavil. To mohlo rozsah škody omezit. Jde však o popis Googlu: nebyly zveřejněny žádné záznamy, které by ukázaly, co zastavení vyvolalo, kdy jednotlivé relace skončily nebo zda do nich zasáhl někdo zvenčí (The Verge, Irish Times).

Co mělo testovací prostředí znemožnit

Standardní postupy penetračního testování počítají s tím, že rozsah povolených systémů vynucuje samotná síť, nikoli pouze tester, který se má držet stanovených hranic. Nejjednodušší řešení představuje odchozí filtr, jenž povolí připojení pouze na schválené adresy a vše ostatní zablokuje. Ve veřejně dostupných informacích není uvedeno, zda prostředí firmy Irregular takový filtr nebo rovnocennou kontrolu mělo (NIST SP 800-115).

Tato mezera je důležitá, protože AI agenti stále častěji dostávají při legitimním bezpečnostním testování za úkol hledat přihlašovací údaje a používat je k přístupu do systémů. Model, který je v takové práci dobrý, se dostane všude, kam mu dovolí jeho síťové připojení. Výcvik, jenž model učí rozpoznat chybu a zastavit se, je užitečný, ale představuje až poslední pojistku, nikoli hranici. Hranici musí zajistit infrastruktura.

Google uvádí, že o případu informoval všechny tři společnosti a americké federální úřady. Irregular tvrdí, že dotčené subjekty okamžitě zasáhly a že známé problémy odstranila ještě před zveřejněním. Ani jedna strana neuvedla, kdy k informování došlo, co společnosti zjistily ani jaká konkrétní opatření jsou nyní zavedena (NBC News, 9to5Google).

Protože nebyly zveřejněny názvy obětí, jejich jurisdikce ani údaje dostupné po přihlášení, nelze zvenčí určit, zda se na případ vztahovaly evropské povinnosti v oblasti ochrany osobních údajů nebo oznamování incidentů.

Nezodpovězené otázky

Případ ukazuje, že hranice testu firmy Irregular nebyla technicky vynucována, případně ne dostatečně. Google ani Irregular neuvedly, které kontroly selhaly, kdo jednotlivé běhy sledoval ani co nyní zabrání jinému agentovi v přístupu k neschválenému systému. Dokud tyto odpovědi nebudou veřejné, zůstává případ jasným důkazem, že autonomní agenti dokážou překročit hranici mezi testem a skutečným světem. Platí přitom nejstarší zásada bezpečnostního testování: pokud nechcete, aby cvičení uniklo z budovy, zamkněte dveře.