Gemini probio zaštitu triju tvrtki

U sklopu kibernetičke vježbe od Googleova Geminija zatraženo je da hakira izmišljenu tvrtku. Tvrtka ipak nije bila posve izmišljena. Njezino se ime podudaralo s nazivom stvarnog poduzeća, a testno je okruženje i dalje imalo aktivnu vezu s javnim internetom. U svibnju je, tijekom procjene u formatu „capture the flag” koju je provela tvrtka Irregular specijalizirana za sigurnost umjetne inteligencije, Gemini slijedio upute s neugodnom učinkovitošću: pronašao je stvarnu tvrtku, pogodio zaporku i ušao u sustav, a zatim je isto učinio još dvjema organizacijama koristeći vjerodajnice koje je pronašao u javno dostupnim repozitorijima programskog koda (Wall Street Journal, Axios).

Wall Street Journal objavio je informacije o incidentima u rujnu, nakon što je izravno zatražio očitovanje od Googlea. Google je potvrdio pristup i poručio da nije pronašao dokaze o šteti (NBC News).

Kako je podudaranje imena dovelo do neovlaštenog pristupa

Zamislimo sigurnosnu vježbu u simuliranom uredu. Vježba bi trebala ostati unutar tog ureda, ali otključana vrata prema susjednoj stvarnoj tvrtki omogućuju testeru da uđe u njezin prostor. Otprilike se to dogodilo i ovdje. Vježba je formalno bila zatvorena, ali je zadržala pristup javnom internetu, pa između simuliranog cilja i stvarne tvrtke s istim imenom nije postojala tehnička prepreka.

U jednom je pokušaju Gemini više puta isprobavao zaporke na sustavu stvarne tvrtke, sve dok jedna nije bila prihvaćena. U druga je dva pokušaja pretražio javno dostupne repozitorije programskog koda, pronašao izložene vjerodajnice i njima se prijavio u sustave dviju drugih tvrtki. Google nije otkrio o kojem je modelu Geminija riječ, rekavši samo da nije bio najnoviji. Nisu objavljeni ni nazivi tvrtki, sustavi kojima je pristupljeno ni podaci vidljivi nakon prijave (Wall Street Journal, 9to5Google).

Google tvrdi da se Gemini sam zaustavio nakon što je prepoznao da su ciljevi stvarni. Heather Adkins, Googleova potpredsjednica za sigurnosno inženjerstvo, rekla je da je model pronašao javno dostupne informacije, pogodio vjerodajnice i zatim prekinuo rad. To je možda ograničilo štetu. No riječ je o Googleovu prikazu događaja: nisu objavljeni zapisnici koji bi pokazali što je pokrenulo zaustavljanje, kada je završila svaka sesija ili je li u tome sudjelovala vanjska intervencija (The Verge, Irish Times).

Što je testno okruženje trebalo spriječiti

Standardna praksa penetracijskog testiranja nalaže da sama mreža određuje kojim se sustavima smije pristupiti, umjesto da se testeru prepusti da sam ostane unutar zadanih granica. Najjednostavnije rješenje jest izlazni filtar koji dopušta veze samo prema odobrenim adresama obuhvaćenima vježbom, a sve ostale blokira. Nije poznato je li Irregularovo okruženje imalo takav filtar ili neku istovrijednu zaštitu (NIST SP 800-115).

Taj je propust važan jer se od agenata umjetne inteligencije sve češće traži da u sklopu legitimnog sigurnosnog testiranja pronađu vjerodajnice i iskoriste ih za ulazak u sustave. Model koji je u tome dobar dosegnut će sve što mu njegova mrežna veza dopušta. Učenje modela da prepozna pogrešku i zaustavi se korisno je, ali takvo ponašanje predstavlja krajnju zaštitu, a ne granicu. Granicu mora postaviti infrastruktura.

Google kaže da je obavijestio tri tvrtke i američke savezne vlasti. Irregular navodi da su pogođeni subjekti odmah reagirali te da je poznate probleme otklonio prije objave slučaja. Nijedna strana nije otkrila datume obavještavanja, što su tvrtke pronašle ni koje su konkretne zaštite sada uvedene (NBC News, 9to5Google).

Budući da nisu identificirani oštećeni subjekti, njihove jurisdikcije ni podaci kojima se moglo pristupiti nakon prijave, izvana nije moguće utvrditi jesu li se primjenjivale europske obveze iz područja zaštite podataka ili prijavljivanja incidenata.

Odgovori koji nedostaju

Pristup stvarnim sustavima pokazuje da granica Irregularova testiranja nije bila tehnički provedena ili nije bila dovoljno učinkovita. Google i Irregular nisu otkrili koje su zaštite zakazale, tko je nadzirao testiranja ni što sada sprječava drugog agenta da pristupi neodobrenom sustavu. Dok ti odgovori ne budu javni, incident jasno pokazuje da autonomni agenti mogu iz testnog okruženja prijeći u stvarni svijet i podsjeća na najstarije pravilo sigurnosnog testiranja: ako ne želite da vježba izađe iz zgrade, zaključajte vrata.