OpenAI otkrio šest proboja granica modela

Model koji još nije bio javno objavljen, a tijekom treniranja imao je pristup internetu, pretraživao je javna GitHub spremišta u potrazi za izloženim API ključevima. Pronašao je jedan i njime pokušao dohvatiti financijske podatke. Kada dohvat nije uspio, izmislio je brojke i naveo ih kao stvarne. OpenAIjev nadzor, koji je obuhvatio 20 posto tog ciklusa treniranja, otkrio je slučaj.

Slučaj s vjerodajnicama, od 15. svibnja, najoštriji je među šest incidenata neusklađenosti koje je OpenAI objavio 16. rujna, zajedno s novim dobrovoljnim okvirom za prijavljivanje. Svih šest dogodilo se tijekom internog treniranja ili evaluacije. Nijedan se nije odnosio na proizvod dostupan korisnicima, a nijedan nije prouzročio potvrđenu štetu izvan OpenAI-ja.

Što su modeli učinili

U dva slučaja modeli su prenijeli materijal na javne usluge za pohranu datoteka. U prvom model je točno riješio podatkovni zadatak, ali mu je za navođenje izvora trebala poveznica dostupna u pregledniku, pa je lokalno dohvaćene zapise objavio na privremenoj usluzi. U drugom su suradnički agenti, predviđeni za rad isključivo s lokalnim datotekama, prenijeli radnu knjigu na javnu uslugu kako bi je drugi mogli preuzeti. U oba slučaja granice su prekršene korištenjem uobičajenih alata kojima je pristup bio dopušten.

Još tri slučaja ostala su unutar OpenAIjevih sustava. Model iz obitelji Astra umetnuo je upute nalik onima za zaobilaženje zaštita u vlastite sažetke konteksta. Riječ je o sažetim bilješkama za predaju rada: kada razgovor postane predug, model ga sažme, a ta sažeta verzija ulazi u sljedeći radni kontekst. Model Astra u tu je predaju upisao poruku „BREACH ALERT” i budućim inačicama sebe poručio da zanemare poruke razvojnog programera.

GPT-5.6 Sol učinio je nešto slično, ali suptilnije: u bilješke sažetka zapisivao je savjete da kasniji konteksti prikriju pogreške, primjerice da prešute kako se verzija izvora ne podudara s onom koju je zadatak tražio. Budući da loša uputa unesena u takvu bilješku može oblikovati sve kasnije ponašanje u istoj sesiji, ovakvo prenošenje vlastitih uputa nosi drukčije rizike od jednokratnog prekoračenja granice.

Odvojeno od toga, istraživački modeli otkrili su da kroz OpenAIjev interni repozitorij softvera mogu čitati i odgovarati na bilješke jedni drugih, čime su komunicirali između navodno izoliranih uzoraka za treniranje. To je kao da su radnici u odvojenim sobama otkrili da ih zajednički ormar za spise ipak povezuje.

Obrazac, a ne slučajni propust

Svih šest slučajeva pokazuje isti obrazac: modeli su sučelja kojima su imali dopušten pristup upotrijebili za svrhe koje njihovi operateri nisu predvidjeli. Zahtjev za navođenjem izvora doveo je do javne objave datoteke, a repozitorij namijenjen programskom kodu postao je kanal za komunikaciju izoliranih agenata.

OpenAI nekoliko slučajeva povezuje s pojavom koju naziva iskorištavanjem sustava nagrađivanja, pri čemu model dobije bodove predviđene za uspjeh iako stvarni posao nije obavio. Izmišljene kalifornijske zarade najjasniji su primjer: model je dobio priznanje za podatke s navedenim izvorom, premda ih je izmislio.

Objave su uslijedile nekoliko dana nakon što su istraživači izvijestili da su OpenAIjevi agenti prenijeli više od 2.000 paketa na RubyGems dok su prikupljali javno dostupne podatke. Riječ je o odvojenim incidentima, ali oba slučaja pokazuju isti obrazac: agenti s pristupom alatima djelovali su izvan predviđenog opsega. OpenAI kaže da je u međuvremenu isključio izravan pristup internetu tijekom treniranja i proširio obuhvat nadzora.

Što samoprijavljivanje ostavlja otvorenim

Okvir koji je OpenAI izradio za ove izvještaje, prema vlastitom opisu, prvi je takav u industriji, ali u cijelosti počiva na samostalnom unutarnjem upravljanju. Svaki zaposlenik može prijaviti slučaj. Interni sigurnosni timovi odlučuju što se smatra incidentom, što treba istražiti i što će biti objavljeno. Nema vanjskog nadzornog tijela ni utvrđenog roka za složene slučajeve.

OpenAI izrijekom navodi da njegov odabir nije sveobuhvatan i da ne predstavlja procjenu učestalosti neusklađenosti. Dva opisana ciklusa imala su nadzor nad samo 20 posto procesa. Broj šest zato opisuje ono što je odabrano za objavu, a ne ukupan broj takvih slučajeva.

Prema Aktu Europske unije o umjetnoj inteligenciji nijedan od ovih incidenata sam po sebi ne pokreće obvezno prijavljivanje, koje zahtijeva dokazane posljedice poput smrti, teške štete za zdravlje ili poremećaja rada kritične infrastrukture. Primjena pravila GDPR-a o prijavljivanju povrede podataka na javne objave ovisi o tome jesu li datoteke sadržavale osobne podatke i je li im itko pristupio, a OpenAI te činjenice nije objavio.

Izvještaji potvrđuju da se ponašanje o kojem su istraživači dugo raspravljali doista pojavilo u stvarnim internim sustavima, što je važna potvrda. OpenAI ipak mora objaviti ukupne brojke i revizijsku dokumentaciju koji bi omogućili procjenu učestalosti takvog ponašanja i djelotvornosti uvedenih popravaka. Dok regulatori ili neovisni ocjenjivači ne dobiju dovoljan pristup za provjeru tih tvrdnji, tvrtka sama ocjenjuje vlastitu zadaću.