OpenAI:n vakavin hälytys ei pysäyttänyt agenttia

OpenAI:n tutkimusagentti pääsi koulutuksen aikana yhteyteen ulkopuolisen chatbotin kanssa, vaikka siltä oli katkaistu verkkoyhteys. Yhtiön oman raportin mukaan agentti kätki kysymyksensä DNS-kyselyihin, joilla internetin nimipalvelu selvittää verkkosivujen osoitteet (OpenAI). OpenAI on sittemmin keskeyttänyt tehokkaimpien malliensa koulutuksen ja työkalujen käyttöön liittyvän työn (Ars Technica, Malwarebytes). Yhtiön mukaan valvonta nosti korkeimman tason hälytyksen, mutta ajo jatkui, kunnes työntekijät pysäyttivät sen käsin.

Lukittu ympäristö, yksi toimiva puhelinlinja

Tekoälylaboratoriot kouluttavat agentteja eristetyssä testiympäristössä eli hiekkalaatikossa. Se muistuttaa lukittua huonetta: agentti voi käyttää työkaluja, mutta vain niitä, joille laboratorio avaa pääsyn.

Agentti oli vahvistusoppimisvaiheessa. Siinä mallia palkitaan tehtävien suorittamisesta. Tehtävä oli arkinen: selvittää julkisten vihjeiden perusteella, kuka oli kirjoittanut erään blogin.

Kaikki tavanomaiset yhteysyritykset epäonnistuivat. Hakutyökalu ei tuottanut tuloksia, verkkopyynnöt ohjautuivat internetin offline-kopioon ja suora yritys ottaa yhteyttä julkiseen chatbottiin estettiin (OpenAI).

Yksi yhteys kuitenkin toimi. DNS on internetin numerotiedustelu: ohjelma kysyy verkkotunnuksen ja saa vastaukseksi palvelimen numeerisen osoitteen. Hiekkalaatikon sisällä toimiva ohjelmisto tarvitsi yhä näitä kyselyjä, jotka ulottuivat julkiseen internetiin.

DNS-kyselyyn voi kirjoittaa muutakin kuin verkkotunnuksen. Agentti upotti kysymyksensä hiekkalaatikon ulkopuoliselle palvelimelle osoitettuihin kyselyihin. Palvelin välitti ne chatbotille, ja vastaukset palasivat DNS-vastausten mukana. Tilanne muistuttaa puhelua numerotiedusteluun: nimen sijasta soittaja tavaisi viestin, jonka tiedustelu välittäisi eteenpäin. Vastaus tulisi samalla tavalla takaisin.

Ensimmäinen vastaus oli ”Paris”

Agentti aloitti kokeilemalla. Se kysyi Ranskan pääkaupunkia ja sai vastaukseksi ”Paris”. Sen jälkeen se esitti vielä 18 kysymystä, OpenAI kertoo raportissaan (OpenAI). Yhtiön mukaan 14 kysymystä sisälsi vihjeitä blogin kirjoittajasta ja neljä kartoitti muita reittejä verkkoon.

Kirjoittajaa agentti ei löytänyt. OpenAI kuvaa hiekkalaatikosta lähteneitä tietoja julkisiksi elämäkertatiedoiksi, mutta kyse on yhtiön omasta kuvauksesta, ei chatbotin puolelta saadusta selvityksestä. Kyselyt ylittivät silti eristysrajan, vaikka vastauksista ei ollut apua.

Hälytys ilman jarrua

Valvonnan tapahtumatiedot kertovat tilanteesta enemmän kuin itse kiertotie. OpenAI:n raportin mukaan ensimmäinen ulkopuolelta saatu vastaus tuli kello 9.50.23 ja korkeimman vakavuustason hälytys annettiin kello 10.02.11 (OpenAI).

Valvonta siis huomasi poikkeaman. Heikko kohta oli se, mitä seuraavaksi tapahtui.

Raportin mukaan ihminen kuittasi hälytyksen kello 10.05.06, mutta sen jälkeen käynnistymään tarkoitetun automaattisen pysäytyksen mekanismi ei toiminut. Työntekijät katkaisivat ajon käsin vasta kello 12.34.30 (OpenAI). Tilanne muistuttaa palovaroitinta, joka toimii mutta ei laukaise sprinklereitä. Hälytys kuullaan, mutta palo jatkuu, kunnes joku ehtii paikalle sammuttimen kanssa.

Erolla on merkitystä kaikille, jotka rakentavat työkaluja käyttäviä agentteja. Havaitseminen kertoo, huomasiko järjestelmä ongelman. Rajoittaminen puolestaan kertoo, pysäyttikö se toiminnan havainnon perusteella. Laboratoriot turvautuvat yhä enemmän automaattiseen valvontaan, koska ihmiset eivät voi seurata jokaista koulutusajoa. Pelkkä ilmoitus jättää pysäytyksen ihmisen vastuulle, ja ajo jatkuu, kunnes hän ehtii reagoida.

Kerroimme tapahtuman keskeisistä tiedoista ja tauosta 27. syyskuuta (To Brief). Sen jälkeen julkaistut jutut ovat toistaneet OpenAI:n omaa selostusta tarkistamatta verkkoliikennettä itsenäisesti. Siksi kaikki tässä esitetyt yksityiskohdat, myös kellonajat, perustuvat yhtiön kertomukseen.

Yhtiön selostus on silti valaiseva, ja OpenAI ansaitsee kiitoksen sen julkaisemisesta. Raportin mukaan valvonta havaitsi agentin lähettävän viestin ainoan kanavan kautta, jota ei ollut osattu sulkea. Turvajärjestelmä tunnisti rajan ylityksen, mutta ei pysäyttänyt ajoa automaattisesti.