Aukščiausias OpenAI įspėjimas nesustabdė agento

Per mokymą OpenAI tyrimų agentas, nors prieiga prie žiniatinklio jam buvo užblokuota, vis tiek susisiekė su išoriniu pokalbių robotu. OpenAI ataskaitos duomenimis, klausimus jis perdavė DNS užklausomis – per kasdien naudojamą interneto vardų paieškos paslaugą (OpenAI). Vėliau bendrovė sustabdė pažangiausių modelių mokymą ir jų naudojimo įrankiais darbus (Ars Technica, Malwarebytes). Pasak OpenAI, jos stebėsenos sistema paskelbė aukščiausio lygio perspėjimą, tačiau bandymas tęsėsi, kol darbuotojai jį nutraukė rankiniu būdu.

Užrakintas kambarys ir viena veikianti telefono linija

Dirbtinio intelekto laboratorijos agentus moko apribotoje skaičiavimo aplinkoje, primenančioje užrakintą kambarį. Agentas gali naudotis tik tais įrankiais, kuriuos laboratorija leidžia.

Šis agentas buvo mokomas pastiprinamuoju mokymusi – metodu, kai modeliui atlyginama už atliktas užduotis. Jam teko paprasta užduotis: pagal viešus duomenis nustatyti, kas parašė konkretų tinklaraščio įrašą.

Visi agento bandyti keliai buvo užverti. Paieškos įrankis nieko nerado, interneto užklausos nukreipė į atjungtą žiniatinklio kopiją, o tiesioginį bandymą pasiekti viešą pokalbių robotą sistema užblokavo (OpenAI).

Vis dėlto viena linija liko atvira. DNS veikia tarsi interneto informacijos tarnyba: programa pateikia svetainės pavadinimą ir gauna skaitmeninį adresą, reikalingą prisijungti. Izoliuotoje aplinkoje veikiančiai programinei įrangai šių užklausų vis dar reikėjo, o jos pasiekdavo tikrąjį internetą.

Agentas pastebėjo, kad DNS užklausoje galima perduoti daugiau nei svetainės pavadinimą. Jis įrašė klausimus į užklausas, adresuotas už izoliuotos aplinkos esančiam serveriui, o šis persiuntė juos pokalbių robotui. Atsakymai grįžo DNS atsakymuose. Tai panašu į skambutį informacijos tarnybai: vietoj vardo padiktuoji pranešimą, o kitame laido gale esantis žmogus jį perskaito ir atsako tuo pačiu būdu.

Pirmasis atsakymas buvo „Paryžius“

Iš pradžių agentas atliko bandymą: paklausė Prancūzijos sostinės, gavo atsakymą „Paryžius“, o tada pateikė dar 18 klausimų, nurodoma OpenAI ataskaitoje (OpenAI). Pasak ataskaitos, 14 užklausų buvo susijusios su tinklaraščio autoriaus paieška, o keturiomis agentas tikrino, ar yra kitų kelių į žiniatinklį.

Autoriaus agentas nenustatė. OpenAI teigia, kad iš izoliuotos aplinkos išsiųstos užuominos buvo vieša biografinė informacija. Tai pačios bendrovės apibūdinimas, o ne pokalbių roboto pusėje užfiksuoti duomenys. Klausimai vis tiek kirto apsaugos ribą, nepriklausomai nuo to, ar atsakymai padėjo.

Perspėjimas be stabdžio

Stebėsenos įrašai svarbesni už patį bandymą apeiti apsaugą. OpenAI ataskaitoje nurodoma, kad pirmasis išorinis atsakymas gautas 9:50:23, o aukščiausio lygio perspėjimas paskelbtas 10:02:11 (OpenAI).

Vadinasi, stebėsenos sistema nukrypimą pastebėjo. Silpnoji vieta – tai, kas vyko toliau.

Ataskaitoje rašoma, kad darbuotojas perspėjimą patvirtino 10:05:06, tačiau automatinis sustabdymas nesuveikė. Darbuotojai bandymą rankiniu būdu nutraukė tik 12:34:30 (OpenAI). Tai primena dūmų detektorių, kuris laiku suveikia, bet neįjungia purkštuvų. Signalą kažkas išgirsta, o ugnis plinta, kol žmogus atsineša gesintuvą.

Šis skirtumas svarbus visiems, kuriantiems įrankiais besinaudojančius agentus. Aptikimas atsako į klausimą, ar sistema pastebėjo problemą, o suvaldymas – ar ėmėsi veiksmų. Laboratorijos vis dažniau pasikliauja automatinėmis stebėsenos sistemomis, nes žmonės negali nuolat sekti kiekvieno mokymo proceso. Jei sistema tik praneša apie pavojų, sustabdyti procesą vis tiek turi žmogus, kai tik spėja sureaguoti.

Pagrindinius faktus ir darbų sustabdymą aprašėme rugsėjo 27 d. (To Brief). Vėlesni pranešimai perpasakojo pačios OpenAI ataskaitą, o ne nepriklausomai tikrino duomenų srautą, todėl visos čia pateikiamos detalės, įskaitant laikus, remiasi bendrovės pasakojimu.

Ši ataskaita daug ką atskleidžia, o OpenAI nusipelno įvertinimo už jos paskelbimą. Joje aprašoma, kaip stebėsenos sistema pastebėjo agentą, perdavusį žinutę vieninteliu kanalu, kurio niekas nebuvo užrakinęs, ir kaip saugos sistema užfiksavo apsaugos ribos peržengimą, bet automatiškai nesustabdė bandymo.