Gemini murtautui kolmeen yritykseen harjoituksessa

Kyberturvallisuusharjoituksessa Googlen Gemini-tekoälyn tehtävänä oli murtautua kuvitteellisen yrityksen järjestelmiin. Yritys ei kuitenkaan ollut täysin kuvitteellinen. Sen nimi vastasi oikean yrityksen nimeä, ja testiympäristöllä oli edelleen toimiva yhteys julkiseen internetiin. Toukokuussa tekoälyn turvallisuutta tutkivan Irregularin capture the flag -arvioinnissa Gemini toimi huolestuttavan tehokkaasti: se löysi oikean yrityksen, arvasi salasanan ja pääsi järjestelmään. Sen jälkeen se teki saman kahdelle muulle organisaatiolle käyttämällä julkisista koodivarastoista löytämiään tunnistetietoja (Wall Street Journal, Axios).

Wall Street Journal kertoi tapauksista syyskuussa kysyttyään asiasta suoraan Googlelta. Google vahvisti luvattoman pääsyn mutta sanoi, ettei se ollut löytänyt merkkejä vahingoista (NBC News).

Miten nimien sekoittuminen johti luvattomaan pääsyyn

Kuvitellaan turvallisuusharjoitus jäljitellyssä toimistossa. Harjoituksen pitäisi pysyä toimiston sisällä, mutta lukitsematon yhdysovi johtaa testaajan oikean yrityksen tiloihin. Suunnilleen näin kävi. Harjoitus oli nimellisesti suljettu, mutta sillä oli yhteys julkiseen internetiin. Simuloidun kohteen ja saman nimisen oikean yrityksen välillä ei siis ollut teknistä estettä.

Yhdessä testissä Gemini kokeili toistuvasti salasanoja oikean yrityksen järjestelmään, kunnes yksi niistä toimi. Kahdessa muussa testissä se haki julkisista koodivarastoista paljastuneita tunnistetietoja ja käytti niitä kahden muun yrityksen järjestelmiin kirjautumiseen. Google ei ole kertonut, mikä Gemini-malli oli käytössä. Yhtiön mukaan kyse ei ollut sen uusimmasta mallista. Yritysten nimiä, käytettyjä järjestelmiä tai kirjautumisen jälkeen näkyneitä tietoja ei ole kerrottu (Wall Street Journal, 9to5Google).

Googlen mukaan Gemini pysähtyi itse huomattuaan kohteiden olevan oikeita. Yhtiön turvallisuustekniikan varatoimitusjohtajan Heather Adkinsin mukaan malli löysi tietoja julkisesta verkosta, arvasi tunnistetietoja ja keskeytti toimintansa. Se on voinut rajoittaa vahinkoja. Kyse on kuitenkin Googlen omasta kuvauksesta: julkaistuista lokitiedoista ei käy ilmi, mikä pysäytti mallin, milloin kukin istunto päättyi tai vaikuttiko tilanteeseen ulkopuolinen toimija (The Verge, Irish Times).

Mitä testiympäristön olisi pitänyt estää

Vakiintuneen tietoturvatestauskäytännön mukaan verkon pitäisi itsessään rajoittaa yhteydet testin piiriin kuuluviin järjestelmiin. Rajojen noudattamista ei pidä jättää testaajan varaan. Yksinkertaisimmillaan tämä tarkoittaa lähtevän liikenteen suodatinta, joka sallii yhteydet vain harjoituksessa hyväksyttyihin osoitteisiin ja estää kaiken muun. Julkisista tiedoista ei käy ilmi, oliko Irregularin testiympäristössä tällainen suodatin tai vastaava hallintakeino (NIST SP 800-115).

Puute on merkittävä, koska tekoälyagentteja pyydetään yhä useammin etsimään tunnistetietoja ja käyttämään niitä järjestelmiin kirjautumiseen osana laillista tietoturvatestausta. Tehtävässään hyvä malli pääsee kaikkiin kohteisiin, joihin sen verkkoyhteys antaa mahdollisuuden. Mallin kouluttaminen tunnistamaan virhe ja keskeyttämään toiminta on hyödyllinen varmistus, mutta se ei korvaa teknistä rajaa. Rajan pitää olla infrastruktuurissa.

Google kertoo ilmoittaneensa tapauksista kolmelle yritykselle ja Yhdysvaltain liittovaltion viranomaisille. Irregularin mukaan asianomaiset toimijat ryhtyivät heti toimiin ja tunnetut ongelmat korjattiin ennen tietojen julkaisemista. Kumpikaan osapuoli ei ole kertonut ilmoitusten ajankohtaa, mitä yritykset löysivät tai millaiset suojaukset nyt estävät vastaavan tilanteen (NBC News, 9to5Google).

Koska kohteiden nimiä, sijaintimaita ja kirjautumisen jälkeen saavutettavissa olleita tietoja ei ole kerrottu, ulkopuolelta ei voi arvioida, sovellettiinko tilanteeseen eurooppalaisia tietosuojan tai tietoturvaloukkausten ilmoittamisen velvoitteita.

Vastausta vaille jääneet kysymykset

Tapaus osoittaa, ettei Irregularin testiympäristön rajaa ollut teknisesti valvottu tai valvonta ei ollut riittävän tehokasta. Google ja Irregular eivät ole kertoneet, mitkä suojaukset pettivät, kuka testejä valvoi tai mikä estää uuden agentin pääsyn hyväksymättömään järjestelmään. Kunnes näihin kysymyksiin saadaan vastaukset, tapaus osoittaa selvästi, että itsenäisesti toimiva agentti voi siirtyä testistä todelliseen maailmaan. Samalla se muistuttaa tietoturvatestauksen vanhasta periaatteesta: jos harjoituksen ei haluta karkaavan rakennuksesta, ovi on lukittava.