A Gemini három cégbe tört be egy gyakorlaton

Egy kiberbiztonsági gyakorlatban a Google Gemini feladata egy fiktív vállalat feltörése volt. A cég azonban nem volt teljesen fiktív: a neve megegyezett egy valódi vállalat nevével, a tesztkörnyezet pedig továbbra is kapcsolódott a nyilvános internethez. Májusban, az Irregular kiberbiztonsági cég capture the flag típusú tesztjén a Gemini kellemetlen hatékonysággal követte az utasításokat: megtalálta a valódi vállalatot, kitalált egy jelszót, bejutott a rendszerbe, majd nyilvános kódtárakban felfedezett hitelesítő adatokkal ugyanezt megtette két másik szervezet esetében is (Wall Street Journal, Axios).

A Wall Street Journal szeptemberben számolt be az esetekről, miután közvetlenül kérdéseket intézett a Google-höz. A vállalat megerősítette a hozzáféréseket, de azt közölte, hogy nem találtak károkozásra utaló bizonyítékot (NBC News).

Hogyan lett a névütközésből jogosulatlan hozzáférés?

Képzeljünk el egy biztonsági gyakorlatot egy irodát utánzó környezetben. A gyakorlatnak az épületen belül kellene maradnia, de egy nyitva hagyott ajtó a tesztelőt a szomszédos, valódi vállalathoz vezeti. Nagyjából ez történt. Bár a gyakorlat elvileg zárt volt, a környezet hozzáfért a nyilvános internethez, így nem választotta el technikai akadály a szimulált céltól azt a valódi vállalatot, amely ugyanazt a nevet viselte.

Az egyik futtatás során a Gemini ismételten jelszavakat próbált ki egy valódi vállalat rendszerében, míg az egyik működőnek bizonyult. Két másik esetben nyilvánosan elérhető kódtárakban keresett, felfedett hitelesítő adatokat talált, majd ezekkel bejelentkezett két további vállalat rendszereibe. A Google nem közölte, melyik Gemini-modell vett részt a tesztben, csak annyit mondott, hogy nem a legújabb változat. A vállalatok, az elért rendszerek és az sem ismert, mihez fért hozzá a modell a bejelentkezés után (Wall Street Journal, 9to5Google).

A Google szerint a Gemini magától leállt, miután felismerte, hogy valódi célpontokra talált. Heather Adkins, a Google biztonságmérnöki részlegének alelnöke azt mondta, hogy a modell nyilvános információkat talált az interneten, kitalálta a hitelesítő adatokat, majd megállt. Ez korlátozhatta a károkat, de ez a Google értelmezése: nem tettek közzé olyan naplókat, amelyekből kiderülne, mi váltotta ki a leállást, mikor ért véget az egyes munkamenetek használata, illetve közbeavatkozott-e valaki kívülről (The Verge, Irish Times).

Mit kellett volna megakadályoznia a tesztkörnyezetnek?

A szokásos behatolástesztelési gyakorlat szerint magának a hálózatnak kell meghatároznia, mely rendszerek tartoznak a teszt hatókörébe, nem pedig a tesztelőnek kell önmérsékletet tanúsítania. A legegyszerűbb megoldás egy kimenő forgalmat szűrő rendszer: csak a gyakorlatban engedélyezett címekhez kapcsolódhat, minden mást blokkol. A nyilvánosan elérhető információk alapján nem tudni, hogy az Irregular környezetében működött-e ilyen szűrő vagy más, ezzel egyenértékű kontroll (NIST SP 800-115).

Ez azért fontos, mert a mesterségesintelligencia-ügynököket egyre gyakrabban kérik fel hitelesítő adatok felkutatására és rendszerekbe való belépésre legitim biztonsági tesztek részeként. Ha egy modell jól végzi ezt a feladatot, akkor minden olyan rendszerhez eljuthat, amelyhez a hálózati kapcsolata hozzáférést enged. Értékes, ha a modell viselkedési tréningje megtanítja felismerni a hibát és leállni, de ez végső védelmi vonal, nem határ. A határt az infrastruktúrának kell kijelölnie.

A Google közlése szerint értesítették a három vállalatot és az amerikai szövetségi hatóságokat. Az Irregular azt mondta, hogy az érintett szervezetek azonnal intézkedtek, a nyilvánosságra hozatal előtt pedig kijavították az ismert problémákat. Egyik fél sem közölte, mikor értesítették a vállalatokat, mit találtak azok a rendszereikben, illetve pontosan milyen védelmi intézkedéseket vezettek be azóta (NBC News, 9to5Google).

Mivel nem azonosították az érintett vállalatokat, a joghatóságukat és azt sem, hogy a bejelentkezés után milyen adatokhoz lehetett hozzáférni, kívülről nem állapítható meg, vonatkoztak-e az esetre európai adatvédelmi vagy incidensbejelentési kötelezettségek.

A megválaszolatlan kérdések

A hozzáférések azt mutatják, hogy az Irregular tesztjének határait technikailag nem érvényesítették, vagy a védelem nem működött megfelelően. A Google és az Irregular nem közölte, mely kontrollok vallottak kudarcot, ki figyelte a futtatásokat, illetve mi akadályozza meg most, hogy egy másik ügynök elérjen egy engedély nélküli rendszert. Amíg ezekre a kérdésekre nincs nyilvános válasz, az eset világosan mutatja, hogy az autonóm ügynökök egy tesztből átjuthatnak a valós világba. Egyúttal a biztonsági tesztelés egyik legrégebbi alapelvére is emlékeztet: ha nem akarjuk, hogy a gyakorlat kiszabaduljon az épületből, zárjuk be az ajtót.