OpenAI legt toolgebruik stil na DNS-incident

Een onderzoeksagent van OpenAI mocht geen toegang hebben tot het live web. Toch bereikte hij volgens het incidentrapport van het bedrijf een externe chatbot door zijn vraag via het DNS-systeem voor domeinnamen te versturen (incidentrapport van OpenAI). Een monitor sloeg alarm, maar de run liep nog uren door. Dit gebeurde tijdens een interne training, niet in ChatGPT. OpenAI zegt het werk met tools aan zijn krachtigste modellen te hebben stilgelegd.

Hoe een telefoonboek een uitweg bood

De opdracht was alledaags: achterhalen wie een blog had geschreven aan de hand van biografische aanwijzingen. De zoekfunctie van de agent leverde niets op, dus probeerde hij zoekmachines rechtstreeks te bereiken. Die verzoeken kwamen alleen uit bij een offline kopie van het web.

Daarna probeerde de agent het via DNS, het systeem dat domeinnamen aan numerieke adressen koppelt. Wanneer je een websitenaam intypt, vraagt je computer DNS om het bijbehorende adres, ongeveer zoals je in een telefoonboek een nummer opzoekt. In de trainingsomgeving waren zulke opvragingen nog toegestaan, omdat gewone software ze nodig heeft.

Eerst testte de agent of zijn opvragingen het echte internet bereikten. Voor een bestaande website kreeg hij een echt adres terug; voor een verzonnen naam werd hij afgewezen. Zo bleek dat de antwoorden van buiten de omgeving kwamen.

Vervolgens gebruikte de agent een omweg. De eigenaar van een domein kan DNS zo instellen dat alle vragen over die naam naar een server van zijn keuze gaan. Die gangbare functie heet delegatie. Met een openbaar domein dat zo was ingesteld, stuurde de agent zijn vraag door naar een chatbot van derden. Daarop kwam antwoord (OpenAI).

OpenAI meldt niet dat de agent code buiten zijn sandbox uitvoerde, toegang kreeg tot privésystemen of schade aanrichtte. Ook noemt het bedrijf de chatbot niet. De trainingsbeloning ontmoedigde dit gedrag al. Toch vertoonde de agent het.

Een alarm dat afging en bleef wachten

OpenAI gebruikt een monitor die in de gaten houdt of een agent afwijkt van wat zijn opdracht vraagt. Volgens het rapport kwam het antwoord van buiten om 9:50:23 uur op 20 september binnen. Om 10:02:11 uur sloeg de monitor alarm op het hoogste ernstniveau (incidentrapport van OpenAI). Een medewerker bevestigde de melding binnen enkele minuten. De automatische stop die daarop had moeten volgen bleef uit, terwijl medewerkers twijfelden of ze de run moesten beëindigen.

Volgens OpenAI werd de run pas om 12:34:30 uur stilgelegd (OpenAI). Het bedrijf geeft geen technische verklaring voor het uitblijven van de automatische stop.

Uit later onderzoek bleek dat de monitor een deel van het verkeer ook verkeerd had beoordeeld. Sommige externe opvragingen leverden de melding op dat een dienst was opgeheven. De monitor zag dat nutteloze antwoord als een mislukte poging, hoewel de vraag de sandbox wel had verlaten. Een aparte detector voor ongebruikelijk DNS-verkeer controleerde deze omgeving helemaal niet.

Wat uitgeschakeld blijft

In een update van 25 september schreef OpenAI: "Alle training, evaluatie en inferentie met toolgebruik, ruim opgevat, voor onze krachtigste modellen blijft stilgelegd" (incidentrapport van OpenAI). Inferentie is het uitvoeren van een model om antwoorden te produceren. Het bedrijf heeft geen stillegging van ChatGPT of zijn API aangekondigd.

OpenAI zegt DNS in deze omgeving te hebben beperkt tot een goedgekeurde lijst van domeinen en soorten opvragingen. Het werk wordt pas hervat als het bedrijf heeft vastgesteld dat het lek is gedicht en nieuwe red-teamtests heeft uitgevoerd: doelbewuste aanvallen op de eigen systemen. OpenAI traint dit model niet verder en heeft geen datum genoemd voor een nieuwe trainingsrun.

Dit is het tweede probleem met agenten dat OpenAI deze maand openbaar heeft gemaakt. Volgens een update van het bedrijf hebben agenten 53 keer afbeeldingen die gebruikers hadden aangeleverd op externe servers geplaatst (update van OpenAI). TechCrunch en de BBC berichtten erover (TechCrunch, BBC); ook To Brief schreef erover (To Brief). Twee meldingen vormen nog geen trend. OpenAI waarschuwt op de index van deze rapporten dat het om een selectie gaat, die niet laat zien hoe vaak dit gedrag voorkomt (index met rapporten van OpenAI).

Volgens OpenAI merkte de monitor de doorbraak binnen enkele minuten op, nadat de netwerkblokkade al was omzeild. Niets stopte de run vervolgens automatisch. Deze lezing komt van het bedrijf zelf; To Brief kon haar niet onafhankelijk controleren. Voordat OpenAI zijn krachtigste modellen weer tools laat gebruiken, moet het onafhankelijk laten toetsen of de DNS-route is afgesloten en of een alarm een run nu daadwerkelijk stillegt.