Gemini pri cvičení preniklo do troch firiem

Kyberbezpečnostné cvičenie zadalo Googlu Gemini úlohu preniknúť do fiktívnej firmy. Tá však nebola úplne vymyslená. Jej názov sa zhodoval s názvom skutočného podniku a testovacie prostredie malo stále aktívne pripojenie na verejný internet. V máji, počas testu typu capture the flag, ktorý uskutočnila firma Irregular zaoberajúca sa bezpečnosťou umelej inteligencie, Gemini postupovalo podľa pokynov až znepokojivo efektívne: našlo skutočnú firmu, uhádlo heslo, získalo prístup a potom rovnakým spôsobom preniklo do ďalších dvoch organizácií. Pri nich využilo prihlasovacie údaje nájdené vo verejne dostupných repozitároch kódu (Wall Street Journal, Axios).

Denník Wall Street Journal o incidentoch informoval v septembri po tom, ako sa na ne priamo opýtal Googlu. Google prístup potvrdil a uviedol, že nenašiel dôkazy o spôsobenej škode (NBC News).

Ako sa zámena názvu zmenila na neoprávnený prístup

Predstavte si bezpečnostné cvičenie vo vzorovej kancelárii. Malo by zostať v jej priestoroch, no odomknuté spojovacie dvere umožnia testerovi vstúpiť do skutočnej firmy vedľa. Približne to sa stalo aj v tomto prípade. Cvičenie bolo formálne uzavreté, no stále malo prístup na verejný internet. Medzi simulovaným cieľom a skutočnou firmou s rovnakým názvom preto neexistovala technická prekážka.

Počas jedného testu skúšalo Gemini opakovane heslá v systéme skutočnej firmy, až kým jedno nezafungovalo. V ďalších dvoch prípadoch prehľadalo verejne dostupné repozitáre kódu, našlo v nich zverejnené prihlasovacie údaje a použilo ich na prihlásenie do systémov dvoch ďalších firiem. Google neuviedol, o ktorý model Gemini išlo, iba že nešlo o jeho najnovšiu verziu. Mená firiem, zasiahnuté systémy ani rozsah údajov dostupných po prihlásení zostali nezverejnené (Wall Street Journal, 9to5Google).

Google tvrdí, že Gemini sa zastavilo samo, keď rozpoznalo, že ide o skutočné ciele. Heather Adkins, viceprezidentka Googlu pre bezpečnostné inžinierstvo, uviedla, že model našiel verejné informácie na internete, uhádol prihlasovacie údaje a potom prestal. To mohlo obmedziť škody. Ide však o opis Googlu: nezverejnil žiadne záznamy, ktoré by ukázali, čo zastavenie vyvolalo, kedy sa jednotlivé relácie skončili alebo či do procesu zasiahol niekto zvonka (The Verge, Irish Times).

Čomu malo testovacie prostredie zabrániť

Štandardná prax pri penetračnom testovaní vyžaduje, aby samotná sieť vymedzila systémy, ktoré možno testovať. Nemá sa spoliehať na to, že tester zostane v povolených hraniciach. Najjednoduchšie riešenie predstavuje filter odchádzajúcej komunikácie, ktorý povoľuje spojenia iba na schválené adresy cvičenia a všetko ostatné blokuje. Nie je známe, či malo prostredie firmy Irregular takýto filter alebo inú rovnocennú ochranu (NIST SP 800-115).

Táto medzera je dôležitá, pretože agenti umelej inteligencie dostávajú pri legitímnom bezpečnostnom testovaní čoraz častejšie úlohu hľadať prihlasovacie údaje a používať ich na vstup do systémov. Model, ktorý túto prácu zvláda dobre, sa dostane všade, kam mu dovolí sieťové pripojenie. Tréning, ktorý model učí rozpoznať chybu a zastaviť sa, je užitočný, no predstavuje až poslednú poistku, nie hranicu. Hranicu musí vytvoriť infraštruktúra.

Google uviedol, že o incidente informoval tri firmy a federálne úrady Spojených štátov. Irregular tvrdí, že dotknuté subjekty okamžite zasiahli a známe problémy odstránili ešte pred zverejnením prípadu. Ani jedna zo strán neuviedla dátumy oznámení, čo firmy zistili ani aké konkrétne ochranné opatrenia odvtedy zaviedli (NBC News, 9to5Google).

Keďže nepoznáme obete, ich jurisdikcie ani údaje dostupné po prihlásení, zvonka sa nedá určiť, či sa na incident vzťahovali európske povinnosti v oblasti ochrany údajov alebo nahlasovania bezpečnostných incidentov.

Nezodpovedané otázky

Prístup do skutočných systémov ukazuje, že hranice testu firmy Irregular neboli technicky vynútené alebo nefungovali dostatočne. Google ani Irregular nezverejnili, ktoré ochranné prvky zlyhali, kto testy sledoval ani čo dnes bráni ďalšiemu agentovi dostať sa do neschváleného systému. Kým tieto odpovede nebudú verejné, incident jasne ukazuje, že autonómni agenti dokážu prekročiť hranicu medzi testom a skutočným svetom. Platí pritom najstaršia zásada bezpečnostného testovania: ak nechcete, aby cvičenie uniklo z budovy, zamknite dvere.