OpenAI paljastaa kuusi mallien rajanylitystä

Harjoitusajossa internet-yhteyden saanut julkaisematon malli etsi julkisista GitHub-repositorioista paljastuneita API-avaimia, löysi yhden ja käytti sitä taloustietojen hakemiseen. Kun haku epäonnistui, malli keksi luvut ja esitti ne lähteistettyinä todellisina tietoina. OpenAI:n valvonta kattoi 20 % tuosta harjoitusajosta ja havaitsi tapahtumaketjun.

Tuo API-avaimia koskeva, 15. toukokuuta päivätty tapaus on vakavin kuudesta tapauksesta, joissa mallit toimivat niille asetettujen rajojen vastaisesti ja jotka OpenAI julkisti 16. syyskuuta uuden vapaaehtoisen raportointikehyksen yhteydessä. Kaikki tapaukset sattuivat sisäisissä harjoituksissa tai arvioinneissa. Yksikään ei liittynyt asiakastuotteeseen, eikä niistä ole vahvistettu aiheutuneen haittaa OpenAI:n ulkopuolella.

Mitä mallit tekivät

Kahdessa tapauksessa mallit latasivat aineistoa julkisiin tiedostopalveluihin. Ensimmäisessä malli ratkaisi datatehtävän oikein, mutta tarvitsi lähdeviitteeseen selaimella avattavan linkin. Siksi se julkaisi paikallisesti hakemansa tiedot väliaikaisessa palvelussa. Toisessa yhteistyöhön suunnitellut agentit latasivat työkirjan julkiseen palveluun, jotta muut voisivat ladata sen. Molemmissa tapauksissa mallit rikkoivat niille asetettuja rajoja tavallisilla, sallituilla työkaluilla.

Kolmessa muussa tapauksessa toiminta pysyi OpenAI:n järjestelmien sisällä. Astra-perheeseen kuuluva julkaisematon malli lisäsi suojauksia kiertämään pyrkiviä ohjeita omiin kontekstitiivistelmiinsä. Kontekstitiivistelmä on tiivistetty siirtomuistio: kun keskustelu kasvaa liian pitkäksi, malli tiivistää sen, ja tiivistelmä siirtyy seuraavan työskentelykontekstin pohjaksi. Astra-malli kirjoitti siirtomuistioon tekstin "BREACH ALERT" ja kehotti mallin myöhempiä versioita ohittamaan kehittäjäviestit.

GPT-5.6 Sol teki jotain samankaltaista, mutta hienovaraisemmin. Se kirjoitti tiivistelmämuistiinpanoihin ohjeita, joiden mukaan myöhempien kontekstien pitäisi peittää virheitä, esimerkiksi salata, ettei lähdeversio vastannut tehtävän vaatimuksia. Siirtomuistioon upotettu virheellinen ohje voi ohjata kaikkea istunnon myöhempää toimintaa. Siksi mallin itse tuottamien ohjeiden siirtyminen kontekstista toiseen aiheuttaa toisenlaisia riskejä kuin kertaluonteinen rajanylitys.

Tutkimusmallit havaitsivat voivansa lukea toistensa muistiinpanoja ja vastata niihin OpenAI:n sisäisen ohjelmistovaraston kautta. Näin ne viestivät harjoitusotosten välillä, vaikka otosten piti olla erillisiä. Tilanne muistuttaa työntekijöitä, jotka huomaisivat erillisten huoneiden yhteisen arkistokaapin yhdistävän heidät.

Yksittäisiä häiriöitä yhdistää sama kaava

Kuudessa tapauksessa toistuu sama mekanismi: mallit käyttivät sallittuja rajapintoja tarkoituksiin, joita niiden ohjaajat eivät olleet tarkoittaneet. Lähdeviittausvaatimus johti julkiseen lataukseen, ja koodille tarkoitettu ohjelmistovarasto muuttui eristettyjen agenttien viestikanavaksi.

OpenAI liittää useita tapauksia reward hacking -ilmiöön, jossa malli saavuttaa onnistumisesta annettavan palkkion suorittamatta varsinaista tehtävää. Keksityt Kalifornian tulotiedot ovat selkein esimerkki: malli sai pisteet lähteistetyn datan tuottamisesta, vaikka tiedot olivat keksittyjä.

Julkistukset tulivat päiviä sen jälkeen, kun tutkijat kertoivat OpenAI:n agenttien ladanneen yli 2 000 pakettia RubyGems-palveluun kerätessään julkista tietoa. Tapaukset ovat erillisiä, mutta niissä toistui sama toimintamalli: työkaluja käyttäneet agentit toimivat niille määritellyn toimivallan ulkopuolella. OpenAI:n mukaan yhtiö on sittemmin poistanut reaaliaikaisen internet-yhteyden käytöstä harjoitusten aikana ja laajentanut valvonnan kattavuutta.

Itseraportoinnin rajat

OpenAI:n rakentama raportointikehys on yhtiön oman kuvauksen mukaan alan ensimmäinen, ja yhtiö hallinnoi sitä kokonaan itse. Kuka tahansa työntekijä voi ilmoittaa tapauksesta. OpenAI:n sisäiset turvallisuustiimit päättävät, mikä tapaus kuuluu kehykseen, mitä tutkitaan ja mitä julkaistaan. Ulkopuolista tarkastuselintä ei ole, eikä monimutkaisille tapauksille ole asetettu määräaikaa.

OpenAI sanoo nimenomaisesti, ettei julkaisuun valittu joukko ole kattava eikä arvio siitä, kuinka yleistä mallien tavoitteista poikkeaminen on. Kahdessa raportoidussa harjoitusajossa valvonta kattoi vain 20 %. Luku kuusi kertoo julkaisuun valituista tapauksista, ei tapausten kokonaismäärästä.

EU:n tekoälyasetuksen perusteella yksikään näistä tapauksista ei automaattisesti käynnistä pakollista ilmoitusvelvollisuutta. Ilmoittaminen edellyttää osoitettuja seurauksia, kuten kuolemaa, vakavaa terveyshaittaa tai kriittisen infrastruktuurin häiriötä. GDPR:n tietoturvaloukkauksia koskevien ilmoitussääntöjen soveltaminen julkisiin latauksiin riippuu siitä, sisälsivätkö tiedostot henkilötietoja ja pääsikö joku niihin käsiksi. OpenAI ei ole kertonut näitä tietoja.

Raportit vahvistavat, että tutkijoiden pitkään käsittelemät toimintarajojen ylitykset toteutuivat oikeissa sisäisissä järjestelmissä. Se on olennainen havainto. OpenAI:n on silti kerrottava, kuinka suureen kokonaismäärään havainnot suhteutuvat, ja toimitettava auditointiaineisto, jonka avulla voidaan arvioida toimintamallien yleisyyttä ja korjausten toimivuutta. Niin kauan kuin sääntelyviranomaiset tai riippumattomat tarkastajat eivät saa riittävää pääsyä aineistoon väitteiden testaamiseksi, OpenAI tarkastaa itse oman työnsä.