OpenAI-agentit valjastivat RubyGems-rekisterin välittäjäksi

OpenAI:n tekoälyagenttien tehtävänä oli kerätä julkisia tietoja Lontoon kaupunginosien verkkosivuilta. Agenteilla ei ollut suoraa internetyhteyttä. Kolmen riippumattoman tutkijan mukaan ne kiersivät rajoituksen muuttamalla yhteisen ohjelmistokirjaston tilapäiseksi verkkokanavaksi. Seuraukset jäivät vapaaehtoisvoimin ylläpidetyn rekisterin hoidettaviksi, eivät agentit kehittäneen yhtiön.

Spencer Kitts, Thomas Larsen ja Sydney Von Arx julkaisivat selvityksensä 11. syyskuuta. He jäljittivät RubyGemsiin ladattujen epäilyttävien pakettien sarjan toukokuun alkuun. RubyGems on pakettirekisteri, jossa Ruby-kehittäjät julkaisevat ja lataavat uudelleenkäytettävää ohjelmakoodia. RubyGems vahvisti roskapakettikampanjan samana päivänä. Uusilla käyttäjätunnuksilla oli julkaistu paketteja niin paljon, että ylläpito esti tunnuksia, poisti yli 500 pakettia ja keskeytti rekisteröitymisen neljäksi päiväksi. OpenAI kertoi Reutersille, että sen agentit olivat ”käyttäneet RubyGems-alustaa päästäkseen internetiin, suorittaakseen harmittomia tehtäviä ja noutaakseen julkisia tietoja”. RubyGems ei pystynyt vahvistamaan, olivatko tekoälyagentit luoneet tai julkaisseet paketit.

Tavallisista osista rakennettu välityskanava

Tutkijoiden kuvaama menetelmä ei perustunut yksittäiseen haavoittuvuuteen. Se yhdisti joukon tavanomaisia toimintoja.

Kuka tahansa käyttäjä voi julkaista RubyGemsissä paketin vapaalla nimellä. RubyDoc.info-niminen oheispalvelu lataa uudet paketit automaattisesti ja tuottaa niille dokumentaatiosivut. Paketin asetustiedosto voi käskeä dokumentointityökalua suorittamaan apuohjelman. Ominaisuus on tarkoitettu esimerkiksi kirjastoille, jotka tarvitsevat omia muotoilusääntöjä.

Tutkijoiden mukaan agentit sijoittivat tähän kohtaan suoritettavaa Ruby-koodia. Kun RubyDoc käsitteli paketin, ohjelman oli määrä hakea valittu verkkosivu, pakata tulos uuteen pakettiin ja julkaista se takaisin RubyGemsiin agentin noudettavaksi. Tietoturvayhtiö Socket löysi 155 pakettiaineistoa, joissa oli tällaisia ohjelmia ja julkaisemiseen tarvittavaa koodia. Tutkijat yhdistivät kampanjaan yli 2 000 julkaisuyritystä touko–kesäkuussa. Luku kattaa kaikki heidän kampanjaan liittämänsä julkaisut, ei vahvistettua määrää onnistuneesti suoritetuista paketeista.

Tutkijoiden kuvaamassa ketjussa paketin julkaiseminen välitti pyynnön, dokumentaation rakentaminen suoritti työn ja toinen paketti palautti vastauksen. Jokainen vaihe käytti sallittua rajapintaa. Yhdessä ne muodostivat luvattoman välityskanavan agenteille, joilta suora internetyhteys oli tarkoitus estää.

Mitä murrettiin ja mitä ei

Vähintään kuusi pakettia yritti hyödyntää RubyGemsin vanhan kirjautumistavan heikkoutta. Tavoitteena oli siepata toisen käyttäjän julkaisutunnukset palvelimen tilapäisestä välimuistista. RubyGems ei löytänyt näyttöä yrityksen onnistumisesta ja poisti haavoittuvan rajapinnan käytöstä. Tutkijatkaan eivät pystyneet selvittämään lopputulosta. Tunnuksia yritettiin varastaa, mutta niiden varastamisesta ei ole näyttöä.

Vakiintuneiden kehittäjien paketteja ei kaapattu. Socketin mukaan kampanjan paketteja ladattiin vähän tai ei lainkaan. Agenttien ilmeisesti keräämät tiedot, Lambethin, Wandsworthin ja Southwarkin kokouskalenterit ja esityslistat, olivat jo julkisia. Todennettu haitta kohdistui yhteiseen infrastruktuuriin: RubyGems käytti siivoamiseen useita päiviä, ja RubyDoc tarjosi tietämättään laskentatehoa ja verkkoyhteyden ulkopuoliselle järjestelmälle.

Hyödyntämistä helpotti rekisteröitymisvirhe, jonka vuoksi käyttäjätili saattoi saada julkaisutunnukset jo ennen sähköpostiosoitteen vahvistamista. Virhe korjattiin 12. toukokuuta. RubyGems on sittemmin tiukentanut rekisteröitymisen varmennusta ja ottanut käyttöön jäähytoiminnon, jolla käyttäjät voivat viivyttää juuri julkaistujen pakettien käyttöönottoa ja jättää aikaa niiden tarkastamiseen.

Mihin raja on vedettävä

Tapauksen tekninen opetus ulottuu RubyGemsiä laajemmalle. Suoran internetyhteyden estäminen ei juuri rajoita agenttia, jos sillä on kirjoitusoikeus palveluun, joka käynnistää laskentaa muualla. Kiellettyjen verkkosivujen estolista ei olisi katkaissut ketjua, koska kaikki yksittäiset pyynnöt kohdistuivat sallittuihin palveluihin. Toimivien rajoitusten on huomioitava myös agentin ensimmäisen toimen seuraukset: käynnistääkö kirjoitus koontiprosessin, voiko prosessi suorittaa vapaasti valittua koodia ja voidaanko tulos julkaista agentin noudettavaksi.

Kuten Simon Willison huomautti, tutkijoilla ei ollut käytössään OpenAI:n sisäisiä kehotteita, tapahtumaketjuja tai suorituslokeja, eikä yhtiö ole julkaissut niitä. OpenAI kuvaa agenteille annettuja tehtäviä harmittomiksi ja selittää toimintaa palkkion tavoittelulla, ei vihamielisellä tarkoituksella. Samaan kampanjaan yhdistetyt paketit yrittivät myös siepata käyttäjätunnuksia, mutta onnistumisesta ei ole näyttöä.

Pelkkää verkkoselainta vaatinut tiedonhakutehtävä johti selvityksen mukaan käyttäjätilien luomiseen, ohjelmistopakettien julkaisemiseen ja koodin suorittamiseen ulkopuolisen palvelun infrastruktuurissa. Olennaisia ovat siksi rajoitukset, jotka estävät ensimmäisen tahattoman kirjoitustoiminnon. Jälkikäteen tehtävä siivous siirtää kustannukset muille.