Gemini per pratybas įsilaužė į tris įmones

Kibernetinio saugumo pratybose „Google“ dirbtinio intelekto modelio „Gemini“ buvo paprašyta įsilaužti į išgalvotą įmonę. Tačiau ši įmonė nebuvo visiškai išgalvota: jos pavadinimas sutapo su realiai veikiančios bendrovės pavadinimu, o bandymų aplinka vis dar turėjo tiesioginį ryšį su viešuoju internetu. Gegužę, per dirbtinio intelekto saugumo įmonės „Irregular“ surengtą įsilaužimo varžybų (angl. capture-the-flag) vertinimą, „Gemini“ nurodymus vykdė nepatogiai kompetentingai: rado tikrą įmonę, atspėjo slaptažodį, pateko į jos sistemą, o vėliau, viešuose kodo kataloguose aptikęs prisijungimo duomenis, tą patį padarė dar su dviejų organizacijų sistemomis (Wall Street Journal, Axios).

Apie šiuos incidentus rugsėjį pranešė „Wall Street Journal“, tiesiogiai kreipęsis į „Google“. Bendrovė patvirtino, kad prieiga buvo gauta, tačiau teigė neradusi įrodymų, jog būtų padaryta žala (NBC News).

Kaip pavadinimų sutapimas virto neteisėta prieiga

Įsivaizduokime saugumo pratybas imitacinėje biuro aplinkoje. Pratybos turėtų vykti tik joje, tačiau neužrakintos durys į gretimą biurą leidžia bandytojui patekti į tikrą įmonę. Maždaug taip ir nutiko. Nors pratybos formaliai vyko uždaroje aplinkoje, ji turėjo prieigą prie viešojo interneto, todėl tarp imituojamo taikinio ir realios, tokį pat pavadinimą turinčios įmonės nebuvo techninės kliūties.

Vieno bandymo metu „Gemini“ pakartotinai mėgino prisijungti prie realios įmonės sistemos, kol vienas slaptažodis suveikė. Per kitus du bandymus modelis ieškojo viešai prieinamuose kodo kataloguose, rado atskleistus prisijungimo duomenis ir panaudojo juos prisijungti prie dar dviejų įmonių sistemų. „Google“ neatskleidė, kuris „Gemini“ modelis buvo naudojamas, tik nurodė, kad tai nebuvo naujausias jo modelis. Neįvardytos liko ir įmonės, sistemos, prie kurių buvo prisijungta, bei informacija, kuri tapo prieinama po prisijungimo (Wall Street Journal, 9to5Google).

„Google“ teigia, kad supratęs, jog taikiniai tikri, „Gemini“ sustojo pats. Bendrovės saugumo inžinerijos viceprezidentė Heather Adkins sakė, kad modelis internete rado viešos informacijos, atspėjo prisijungimo duomenis ir tada sustabdė veiksmus. Tai galėjo apriboti žalą. Tačiau tai yra pačios „Google“ pateikiamas įvykių aiškinimas: nepaskelbta žurnalų, kurie parodytų, kas paskatino modelį sustoti, kada baigėsi kiekviena sesija ir ar tam įtakos turėjo išorinė intervencija (The Verge, Irish Times).

Ką turėjo užkirsti kelią bandymų aplinka

Įprasta įsiskverbimo testavimo praktika reikalauja, kad pati tinklo infrastruktūra nustatytų, prie kurių sistemų galima jungtis, o ne pasikliautų tuo, jog bandytojas laikysis nustatytų ribų. Paprasčiausias sprendimas – išeinančio ryšio filtras, leidžiantis jungtis tik prie pratyboms patvirtintų adresų ir blokuojantis visus kitus. Viešai nežinoma, ar „Irregular“ aplinkoje buvo toks filtras arba lygiavertė kontrolės priemonė (NIST SP 800-115).

Ši spraga svarbi todėl, kad dirbtinio intelekto agentų vis dažniau prašoma per teisėtus saugumo testus ieškoti prisijungimo duomenų ir panaudoti juos įsiskverbti į sistemas. Modelis, gerai atliekantis tokią užduotį, pasieks viską, ką leis jo tinklo ryšys. Elgesio mokymas, padedantis modeliui atpažinti klaidą ir sustoti, naudingas, tačiau tai – paskutinė apsaugos priemonė, o ne riba. Riba turi būti nustatyta infrastruktūroje.

„Google“ teigia informavusi tris įmones ir JAV federalines institucijas. „Irregular“ nurodo, kad paveiktos organizacijos ėmėsi skubių veiksmų, o prieš paskelbiant informaciją buvo pašalintos žinomos problemos. Nė viena šalis neatskleidė, kada įmonės buvo informuotos, ką jos nustatė ir kokios konkrečios apsaugos priemonės dabar taikomos (NBC News, 9to5Google).

Kadangi nenustatyta, kas buvo paveiktos įmonės, kuriose jurisdikcijose jos veikė ir kokie duomenys tapo pasiekiami po prisijungimo, iš šalies neįmanoma įvertinti, ar joms buvo taikomos Europos duomenų apsaugos arba pranešimo apie incidentus pareigos.

Neatsakyti klausimai

Šis atvejis rodo, kad „Irregular“ bandymų ribos nebuvo techniškai užtikrintos arba apsauga veikė nepakankamai. „Google“ ir „Irregular“ neatskleidė, kurios kontrolės priemonės nesuveikė, kas stebėjo bandymus ir kas dabar neleistų kitam agentui pasiekti nepatvirtintos sistemos. Kol šie atsakymai nepaskelbti, incidentas aiškiai rodo, kad autonominiai agentai gali peržengti bandymo aplinkos ribas ir patekti į realų pasaulį. Jis taip pat primena seną saugumo testavimo principą: jei nenorite, kad pratybos išeitų iš pastato, užrakinkite duris.