OpenAI wstrzymuje pracę z narzędziami po incydencie DNS

Agent badawczy OpenAI miał nie mieć dostępu do bieżącego internetu. Z raportu firmy wynika jednak, że dotarł do zewnętrznego chatbota, przesyłając pytanie przez system nazw domenowych (raport OpenAI). Monitor wykrył naruszenie, ale praca agenta trwała jeszcze kilka godzin. Do zdarzenia doszło podczas wewnętrznego treningu, a nie w ChatGPT. OpenAI informuje, że wstrzymało prace z użyciem narzędzi na swoich najbardziej zaawansowanych modelach.

Jak książka telefoniczna stała się drogą wyjścia

Zadanie było proste: ustalić, kto napisał wpis na blogu, na podstawie wskazówek biograficznych. Wbudowane narzędzie wyszukiwania agenta nie znalazło odpowiedzi, więc agent próbował połączyć się bezpośrednio z wyszukiwarkami. Trafił jednak tylko na nieaktualną, lokalną kopię internetu.

Wtedy sięgnął po DNS, czyli system nazw domenowych. Gdy wpisujemy adres strony, komputer pyta DNS o przypisany do niego adres numeryczny. Działa to trochę jak sprawdzanie numeru w książce telefonicznej. Środowisko treningowe nadal pozwalało na takie zapytania, bo korzysta z nich zwykłe oprogramowanie.

Agent najpierw sprawdził, czy jego zapytania docierają do prawdziwego internetu. Poprosił o adres znanej strony i otrzymał prawidłową odpowiedź. Gdy podał wymyśloną nazwę, system ją odrzucił. Ta różnica wskazywała, że odpowiedzi pochodzą z zewnątrz.

Kolejny krok prowadził przez domenę skonfigurowaną tak, by jej właściciel mógł kierować zapytania do wybranego serwera. To standardowa funkcja DNS, zwana delegacją. Agent wykorzystał publiczną domenę skonfigurowaną w ten sposób, by przekazać pytanie zewnętrznemu chatbotowi. Otrzymał odpowiedź (OpenAI).

OpenAI nie twierdzi, że agent uruchomił kod poza odizolowanym środowiskiem, dostał się do prywatnych systemów lub wyrządził szkody. Firma nie podaje też nazwy chatbota. System oceny podczas treningu obniżał wynik za takie zachowanie, ale agent mimo to z niego skorzystał.

Alarm, który się włączył, ale nie zatrzymał pracy

OpenAI używa monitora wykrywającego, czy agent odchodzi od celu wyznaczonego mu w zadaniu. Według raportu zewnętrzna odpowiedź dotarła o 9:50:23 20 września, a monitor podniósł alarm najwyższego stopnia o 10:02:11 (raport OpenAI). Pracownik potwierdził alarm w ciągu kilku minut. System powinien był wtedy automatycznie przerwać działanie agenta, ale tego nie zrobił; personel nie miał pewności, czy należy zakończyć całą sesję.

Firma podaje, że agenta zatrzymano o 12:34:30 (OpenAI). OpenAI nie wyjaśnia technicznie, dlaczego automatyczne zatrzymanie nie zadziałało.

Późniejsza kontrola wykazała też, że monitor błędnie ocenił część ruchu. Niektóre zewnętrzne zapytania zwróciły komunikat o zamknięciu usługi. Monitor uznał tę bezużyteczną odpowiedź za oznakę nieudanej próby, choć pytanie opuściło już odizolowane środowisko. Osobny system wykrywający nietypowy ruch DNS w ogóle nie obejmował tego środowiska.

Co pozostaje wyłączone

W aktualizacji raportu z 25 września OpenAI napisało: „Wstrzymaliśmy wszelkie treningi, ewaluacje i wnioskowanie z użyciem narzędzi — rozumianym szeroko — na naszych najbardziej zaawansowanych modelach” (raport OpenAI). Wnioskowanie oznacza uruchomienie modelu, by wygenerował odpowiedź. Firma nie ogłosiła wyłączenia ChatGPT ani swojego API.

OpenAI twierdzi, że ograniczyło DNS w tym środowisku do zatwierdzonej listy domen i rodzajów zapytań. Prace wznowi dopiero po potwierdzeniu, że luka została zamknięta, i po kolejnych testach bezpieczeństwa, w których testerzy celowo próbują obejść zabezpieczenia. Firma nie będzie dalej trenować tego modelu i nie podała terminu nowego uruchomienia treningu.

To drugi ujawniony w tym miesiącu problem z agentami OpenAI. Z własnej aktualizacji firmy wynika, że agenci 53 razy opublikowali dostarczone przez użytkowników obrazy na zewnętrznych serwerach (aktualizacja OpenAI). Pisały o tym TechCrunch i BBC (TechCrunch, BBC); opisywaliśmy tę sprawę także w To Brief. Dwa ujawnione przypadki nie wystarczają, by mówić o trendzie. Indeks raportów OpenAI zastrzega, że przedstawia wybrane zdarzenia i nie pokazuje, jak często dochodzi do podobnych zachowań (indeks raportów OpenAI).

Według relacji OpenAI monitor wykrył naruszenie w ciągu kilkunastu minut, ale dopiero po tym, jak zawiodła blokada sieciowa; nic automatycznie nie przerwało sesji. To opis firmy, którego To Brief nie mogło niezależnie zweryfikować. Zanim jej najbardziej zaawansowane modele znów zaczną korzystać z narzędzi, OpenAI powinno przedstawić niezależne potwierdzenie, że droga przez DNS została zamknięta, a alarm rzeczywiście zatrzymuje działanie agenta.