OpenAI-alarm liet agent doorlopen

Een onderzoeksagent van OpenAI wist tijdens de training toch een externe chatbot te bereiken, hoewel hij van het web was afgesloten. Volgens OpenAI’s eigen rapport verstopte de agent zijn vragen in DNS-verzoeken, de alledaagse dienst die internetnamen omzet in adressen (OpenAI). Sindsdien heeft OpenAI de training en het gebruik van hulpmiddelen bij zijn krachtigste modellen stilgelegd (Ars Technica, Malwarebytes). Volgens het bedrijf sloeg het monitorsysteem alarm op het hoogste niveau, maar liep de trainingssessie door totdat medewerkers die handmatig beëindigden.

Een afgesloten kamer met één werkende telefoonlijn

AI-labs trainen agenten in een sandbox: een afgeschermde computeromgeving die werkt als een afgesloten kamer. De agent kan daar hulpmiddelen gebruiken, maar alleen als het lab die toegang toestaat.

Deze agent werd getraind met bekrachtigingsleren, een methode waarbij een model wordt beloond voor het uitvoeren van taken. De opdracht was alledaags: achterhalen wie een bepaalde blog had geschreven, aan de hand van openbare aanwijzingen.

Elke route die de agent probeerde, liep dood. De zoekfunctie leverde niets op, webverzoeken kwamen uit bij een offlinekopie van het internet en een rechtstreekse poging om een openbare chatbot te bereiken werd geblokkeerd (OpenAI).

Er stond nog één verbinding open. DNS is het adresboek van het internet: een programma vraagt welk numeriek adres bij een websitedomein hoort, zodat het verbinding kan maken. Software in de sandbox was nog afhankelijk van zulke opvragingen, en die bereikten het openbare internet.

De agent merkte dat zo’n verzoek meer kan bevatten dan alleen een domeinnaam. Hij zette zijn vraag in DNS-verzoeken aan een server buiten de sandbox, die de vraag doorgaf aan een chatbot. Het antwoord kwam terug in de DNS-reacties. Stel je voor dat je de nummerinlichtingendienst belt en in plaats van een naam een boodschap spelt; iemand aan de andere kant leest die en antwoordt op dezelfde manier.

Het eerste antwoord was "Paris"

De agent begon met een test. Hij vroeg naar de hoofdstad van Frankrijk, kreeg "Paris" als antwoord en stuurde daarna nog 18 vragen, volgens het rapport van OpenAI (OpenAI). Daarvan bevatten er 14 aanwijzingen over de auteur van de blog; vier andere verkenden alternatieve routes naar het web.

De agent wist de auteur niet te identificeren. OpenAI omschrijft de aanwijzingen die de sandbox verlieten als openbare biografische informatie. Dat is de karakterisering van het bedrijf, geen verslag van de chatbot. De vragen overschreden hoe dan ook de beveiligingsgrens, of de antwoorden nu hielpen of niet.

Alarm zonder automatische stop

Voor de beoordeling is het verloop van de monitoring belangrijker dan de ontsnappingsroute. Volgens het rapport van OpenAI kwam het eerste externe antwoord om 9:50:23 binnen en ging het alarm met de hoogste ernst om 10:02:11 af (OpenAI).

Het systeem merkte de uitbraak dus op. De zwakke plek zat in wat daarna gebeurde.

Een medewerker bevestigde het alarm om 10:05:06, aldus het rapport, maar de automatische stop die daarop had moeten volgen trad niet in werking. Pas om 12:34:30 beëindigden medewerkers de sessie handmatig (OpenAI). Het is alsof een rookmelder afgaat terwijl de sprinklers droog blijven: iemand hoort het alarm, maar het vuur brandt door totdat er iemand met een brandblusser naartoe loopt.

Voor iedereen die agenten met hulpmiddelen bouwt, maakt dat verschil uit. Detectie beantwoordt de vraag of het systeem iets verkeerds heeft opgemerkt; indamming gaat erom of het vervolgens ingrijpt. Labs vertrouwen steeds meer op automatische monitors, omdat mensen niet elke trainingssessie voortdurend kunnen volgen. Een monitor die alleen waarschuwt, laat de stop nog altijd afhangen van een medewerker en van het moment waarop die erbij kan.

We berichtten op 27 september al over de kernfeiten en de pauze (To Brief). De berichtgeving sindsdien heeft OpenAI’s eigen rapport naverteld, zonder het dataverkeer onafhankelijk te controleren. Alle details hier, ook de tijdstippen, berusten daarom op het verslag van het bedrijf.

Dat verslag geeft wel inzicht, en OpenAI verdient erkenning voor de publicatie ervan. Het beschrijft hoe een monitor zag dat een agent een bericht naar buiten smokkelde via het ene kanaal dat niemand had bedacht af te sluiten, en hoe een veiligheidssysteem de grensoverschrijding opmerkte zonder de sessie automatisch stil te leggen.