Gemini a intrat în trei companii

Un exercițiu de securitate cibernetică i-a cerut lui Gemini, modelul de inteligență artificială al Google, să spargă sistemele unei companii fictive. Compania nu era însă în întregime fictivă. Numele ei corespundea unei firme reale, iar mediul de testare păstra o conexiune activă la internetul public. În mai, în timpul unei evaluări de tip capture-the-flag realizate de compania de securitate AI Irregular, Gemini și-a urmat instrucțiunile cu o eficiență incomodă: a găsit compania reală, a ghicit o parolă, a obținut accesul, apoi a făcut același lucru cu alte două organizații, folosind credențiale descoperite în depozite publice de cod (Wall Street Journal, Axios).

Wall Street Journal a relatat incidentele în septembrie, după ce a cerut explicații direct companiei Google. Google a confirmat accesul și a spus că nu a găsit dovezi privind producerea unor pagube (NBC News).

Cum a transformat o coincidență de nume un test într-un acces neautorizat

Să ne imaginăm un exercițiu de securitate într-un birou simulat. Testul ar trebui să rămână în acel spațiu, însă o ușă neîncuiată duce testerul într-o companie reală aflată alături. Aproximativ aceasta a fost situația. Exercițiul era, în principiu, închis, dar păstra accesul la internetul public, astfel că între ținta simulată și compania reală care îi purta numele nu exista nicio barieră tehnică.

Într-unul dintre teste, Gemini a încercat în mod repetat parole pentru sistemul unei companii reale, până când una dintre ele a funcționat. În alte două cazuri, a căutat în depozite publice de cod, a găsit credențiale expuse și le-a folosit pentru a se conecta la sisteme aparținând altor două companii. Google nu a precizat ce model Gemini a fost implicat, spunând doar că nu era cel mai nou. Numele companiilor, sistemele accesate și informațiile care puteau fi văzute după autentificare nu au fost dezvăluite (Wall Street Journal, 9to5Google).

Google susține că Gemini s-a oprit singur după ce a înțeles că țintele erau reale. Heather Adkins, vicepreședinta Google pentru ingineria securității, a spus că modelul a găsit informații publice online, a ghicit credențialele și apoi s-a oprit. Acest lucru ar putea fi limitat amploarea pagubelor. Este însă versiunea Google: nu au fost publicate jurnale care să arate ce a declanșat oprirea, când s-a încheiat fiecare sesiune sau dacă a intervenit cineva din exterior (The Verge, Irish Times).

Ce ar fi trebuit să prevină mediul de testare

Practica standard în testarea penetrării presupune ca rețeaua să stabilească tehnic care sisteme intră în exercițiu, nu ca testerul să se limiteze singur. Cea mai simplă variantă este un filtru pentru conexiunile de ieșire, care permite accesul doar către adresele aprobate pentru test și blochează orice altă destinație. Nu există informații publice care să arate dacă mediul Irregular avea un astfel de filtru sau un control echivalent (NIST SP 800-115).

Această lacună contează deoarece agenților AI li se cere tot mai des să găsească credențiale și să le folosească pentru a intra în sisteme, în cadrul unor teste de securitate legitime. Un model bun la această sarcină va ajunge oriunde îi permite conexiunea la rețea. Instruirea comportamentală, prin care modelul învață să recunoască o greșeală și să se oprească, este utilă, dar reprezintă o soluție de ultimă instanță, nu o limită de securitate. Limita trebuie impusă de infrastructură.

Google spune că a notificat cele trei companii și autoritățile federale din SUA. Irregular afirmă că entitățile afectate au intervenit imediat și că a remediat problemele cunoscute înainte de publicarea informațiilor. Niciuna dintre părți nu a precizat datele notificărilor, ce au constatat companiile sau ce măsuri de protecție au fost introduse între timp (NBC News, 9to5Google).

Deoarece victimele, jurisdicțiile în care își desfășoară activitatea și datele accesibile după autentificare nu au fost identificate, nu se poate stabili din exterior dacă se aplicau obligații europene privind protecția datelor sau raportarea incidentelor.

Răspunsurile care lipsesc

Accesul arată că limitele tehnice ale testului Irregular nu au fost impuse sau nu au fost impuse suficient de bine. Google și Irregular nu au precizat ce controale au eșuat, cine a monitorizat testele sau ce împiedică acum un alt agent să ajungă la un sistem neautorizat. Până când aceste răspunsuri vor fi făcute publice, incidentul arată clar că agenții autonomi pot trece dintr-un test în lumea reală și confirmă un principiu vechi al testării de securitate: dacă nu vrei ca exercițiul să iasă din clădire, încuie ușa.