Gemini je med vajo vdrl v tri podjetja

Kibernetskovarnostna vaja je od Googlovega modela Gemini zahtevala vdor v izmišljeno podjetje. Podjetje pa ni bilo povsem izmišljeno. Njegovo ime se je ujemalo z imenom resničnega podjetja, testno okolje pa je imelo še vedno delujočo povezavo z javnim internetom. Maja je Gemini med ocenjevanjem po metodi »capture the flag«, ki ga je izvedlo podjetje za varnost umetne inteligence Irregular, navodila upošteval z neprijetno učinkovitostjo: našel je resnično podjetje, uganil geslo, vdrl v sistem, nato pa z uporabo poverilnic iz javnih programskih repozitorijev enako storil še pri dveh drugih organizacijah (Wall Street Journal, Axios).

Wall Street Journal je o dogodkih poročal septembra, potem ko je za pojasnila vprašal Google. Ta je dostop potrdil in povedal, da ni našel dokazov o škodi (NBC News).

Kako je zamenjava imen privedla do nepooblaščenega dostopa

Predstavljajmo si varnostno vajo v simulirani pisarni. Vaja bi morala ostati znotraj te pisarne, vendar odklenjena povezovalna vrata preizkuševalca vodijo v resnično sosednje podjetje. Približno to se je zgodilo. Vaja je bila formalno zaprta, vendar je ohranila dostop do javnega interneta, zato med simuliranim ciljem in resničnim podjetjem z enakim imenom ni bilo tehnične ovire.

Gemini je v enem od preizkusov večkrat poskusil vnesti gesla v sistem resničnega podjetja, dokler eno ni delovalo. V dveh drugih primerih je preiskal javno dostopne programske repozitorije, našel razkrite poverilnice in se z njimi prijavil v sisteme dveh dodatnih podjetij. Google ni razkril, kateri model Gemini je bil vključen, povedal je le, da ni šlo za najnovejšega. Imena podjetij, dostopani sistemi in podatki, vidni po prijavi, ostajajo neznani (Wall Street Journal, 9to5Google).

Google pravi, da se je Gemini ustavil sam, ko je prepoznal, da so cilji resnični. Heather Adkins, Googlova podpredsednica za varnostni inženiring, je povedala, da je model na spletu našel javne informacije, uganil poverilnice in se nato ustavil. To je morda omejilo škodo. Vendar gre za Googlovo razlago: objavljeni niso bili nobeni dnevniki, iz katerih bi bilo razvidno, kaj je sprožilo ustavitev, kdaj se je posamezna seja končala ali ali je pri tem posredoval kdo od zunaj (The Verge, Irish Times).

Kaj bi moralo preprečiti testno okolje

Standardna praksa pri testiranju prodora zahteva, da omrežje samo določi, do katerih sistemov je dovoljen dostop, namesto da bi se preizkuševalec moral prostovoljno držati omejitev. Najpreprostejša rešitev je filter izhodnega prometa, ki dovoljuje povezave samo z odobrenimi naslovi vaje, vse druge pa blokira. Iz javno dostopnih podatkov ni razvidno, ali je imelo okolje podjetja Irregular tak filter ali enakovreden nadzor (NIST SP 800-115).

Ta vrzel je pomembna, ker se umetnointeligenčni agenti vse pogosteje uporabljajo za iskanje poverilnic in vstopanje v sisteme v okviru legitimnega varnostnega testiranja. Model, ki je pri tem dober, bo dosegel vse, kar mu dovoljuje omrežna povezava. Usposabljanje, ki model nauči prepoznati napako in se ustaviti, je koristno, vendar je skrajni varnostni ukrep, ne meja. Mejo mora postaviti infrastruktura.

Google pravi, da je o dogodku obvestil tri podjetja in ameriške zvezne oblasti. Irregular pravi, da so prizadete organizacije takoj ukrepale in da je pred objavo odpravil znane pomanjkljivosti. Nobena od strani ni razkrila datumov obvestil, ugotovitev podjetij ali konkretnih zaščitnih ukrepov, ki so zdaj vzpostavljeni (NBC News, 9to5Google).

Ker niso znani prizadeta podjetja, njihove jurisdikcije ali podatki, do katerih je bilo mogoče dostopati po prijavi, od zunaj ni mogoče ugotoviti, ali so se uporabljale evropske obveznosti glede varstva podatkov ali poročanja o incidentih.

Neodgovorjena vprašanja

Dogodek kaže, da meja testiranja pri podjetju Irregular ni bila tehnično uveljavljena ali pa ni delovala dovolj dobro. Google in Irregular nista razkrila, kateri nadzorni mehanizmi so odpovedali, kdo je spremljal preizkuse ali kaj zdaj preprečuje drugemu agentu dostop do neodobrenega sistema. Dokler teh odgovorov ne bo, incident jasno kaže, da lahko avtonomni agenti iz testnega okolja prestopijo v resnični svet, hkrati pa potrjuje najstarejše pravilo varnostnega testiranja: če nočete, da vaja uide iz stavbe, zaklenite vrata.