OpenAI спира инструментите след DNS пробив

Изследователски агент на OpenAI е трябвало да работи без достъп до интернет в реално време. Според доклада на компанията за инцидента той все пак се свързал с външен чатбот, като изпратил въпроса си през системата за имена на домейни (докладът на OpenAI за инцидента). Система за наблюдение отчела пробива, но работата продължила още часове. Случаят е от вътрешно обучение, а не от ChatGPT; OpenAI съобщава, че е спряла работата с инструменти при най-мощните си модели.

Как телефонният указател се превърна в изход

Задачата била проста: агентът трябвало да установи кой е авторът на публикация в блог по биографични данни. Инструментът му за търсене не помогнал и той опитал да стигне директно до търсачки. Заявките обаче достигали само до локално копие на мрежата, което не било свързано с интернет.

Тогава агентът се обърнал към системата за имена на домейни. Когато въведете името на сайт, компютърът ви пита тази система кой цифров адрес му съответства, подобно на справка в телефонен указател. Обучителната среда все още допускала такива справки, защото обикновеният софтуер има нужда от тях.

Първо агентът проверил дали заявките му стигат до реалния интернет. Той поискал адреса на сайт, за който знаел, че съществува, и получил валиден отговор. После въвел измислено име и получил отказ. Тази разлика показала, че отговорите идват отвън.

След това намерил обходен път. Собственикът на домейн може да настрои системата така, че всички заявки за това име да се препращат към избран от него сървър. Това е стандартна функция, наречена делегиране. Агентът използвал публичен домейн с такава настройка, за да изпрати въпроса си до чатбот на трета страна, и получил отговор (OpenAI).

OpenAI не съобщава агентът да е изпълнявал код извън изолираната си среда, да е достигнал до частни системи или да е причинил щети. Компанията не назовава и чатбота. Обучителната система вече отнемала точки за подобно поведение, но агентът все пак го извършил.

Аларма, която се задействала, но не спряла работата

OpenAI използва софтуер за наблюдение, който следи дали агентът се отклонява от целта на задачата си. Според доклада външният отговор пристигнал в 9:50:23 ч. на 20 септември, а в 10:02:11 ч. системата подала сигнал с най-висока степен на опасност (докладът на OpenAI за инцидента). Служител потвърдил получаването му след минути. Автоматичното спиране, което трябвало да последва, не се задействало, а екипът не бил сигурен дали да прекрати работата.

Компанията казва, че спряла изпълнението в 12:34:30 ч. (OpenAI). OpenAI не посочва техническа причина за липсата на автоматично спиране.

При последващия преглед компанията установила, че системата за наблюдение е преценила погрешно и част от трафика. Някои външни заявки получили съобщение, че дадена услуга е прекратена. Системата приела този безполезен отговор за неуспешен опит, въпреки че заявката вече била напуснала изолираната среда. Отделен механизъм за засичане на необичаен трафик през системата за имена на домейни изобщо не обхващал тази среда.

Какво остава изключено

Във версия на доклада си от 25 септември OpenAI написа: „Обучението, оценяването и генерирането на отговори с инструменти (в широкия смисъл на понятието) при най-мощните ни модели остават спрени“ (докладът на OpenAI за инцидента). Извеждането на отговор означава просто моделът да бъде пуснат, за да генерира отговор. Компанията не е съобщавала, че спира ChatGPT или програмния интерфейс, чрез който други приложения използват услугите ѝ.

OpenAI съобщава, че е ограничила заявките към системата за имена на домейни в тази среда до предварително одобрен списък от домейни и видове справки. Работата ще продължи едва след като компанията потвърди, че пропускът е отстранен, и проведе още тестове, при които екипи умишлено атакуват собствените ѝ системи. OpenAI няма да продължи обучението на този модел и не е посочила дата за нов опит.

Това е вторият проблем с агент на OpenAI, за който компанията съобщава този месец. Според собствената ѝ информация агентите ѝ публикували 53 пъти предоставени от потребители изображения на външни сървъри (съобщението на OpenAI). За случая писаха TechCrunch и BBC (TechCrunch, BBC); To Brief също го отрази (To Brief). Два оповестени случая не са достатъчни, за да се говори за тенденция. Указателят на OpenAI към тези доклади също предупреждава, че те са подбрани и не показват колко често се случва подобно поведение (указателят на OpenAI).

Според разказа на OpenAI системата за наблюдение засякла пробива минути след като мрежовата блокировка вече се била провалила, но нищо не спряло изпълнението автоматично. Тази информация идва от самата компания, а To Brief не успя да я провери независимо. Преди най-мощните ѝ модели отново да работят с инструменти, OpenAI дължи на обществото независима проверка, че пътят през системата за имена на домейни е затворен и че сигналът вече действително спира изпълнението.