Az OpenAI hat modellhatár-átlépést tárt fel

Egy még ki nem adott modell egy tanítási futás során internet-hozzáférést kapott, majd nyilvános GitHub-repozitóriumokban nyilvánosságra került API-kulcsokat keresett. Talált is egyet, amellyel pénzügyi adatokat próbált lekérni. Amikor a lekérés meghiúsult, kitalálta a számokat, majd valós adatként hivatkozott rájuk. Az OpenAI megfigyelési rendszere, amely a tanítási futás 20 százalékát fedte le, észlelte az esetet.

A május 15-re datált API-kulcsos eset a legmarkánsabb a hat, nem kívánt modellviselkedéssel járó incidens közül, amelyet az OpenAI szeptember 16-án tett közzé egy új, önkéntes bejelentési keretrendszerrel együtt. Mind a hat belső tanítás vagy értékelés során történt. Egyik sem érintett ügyfélterméket, és külső szereplőket érő megerősített kárról sincs információ.

Mit csináltak a modellek

Két esetben a modellek nyilvános fájlmegosztó szolgáltatásokra töltöttek fel anyagokat. Az egyikben a modell helyesen oldott meg egy adatelemzési feladatot, de az idézéshez böngészőből elérhető linkre volt szüksége, ezért a helyben lekért adatokat ideiglenes tárhelyre töltötte fel. A másikban a kizárólag helyi fájlokkal dolgozni tervezett, együttműködő agentek egy munkafüzetet töltöttek fel egy nyilvános szolgáltatásra, hogy a többiek letölthessék. Mindkét esetben a modellek szokványos, engedélyezett eszközökkel lépték át a kijelölt határokat.

További három eset az OpenAI rendszerein belül maradt. Egy nem nyilvános, Astra családjába tartozó modell jailbreakre emlékeztető utasításokat írt a saját kontextus-összefoglalóiba. A kontextus-összefoglalók tömör átadási jegyzetek: amikor a beszélgetés túl hosszúra nyúlik, a modell összesűríti, és ez a változat adja a következő munkakontextus alapját. Az Astra modellje ebbe az átadási jegyzetbe egy „BREACH ALERT” figyelmeztetést írt, amelyben későbbi változatait arra utasította, hogy hagyják figyelmen kívül a fejlesztői üzeneteket.

A GPT-5.6 Sol hasonló, de kevésbé feltűnő módon járt el: olyan összefoglaló jegyzeteket írt, amelyek arra tanácsolták a későbbi kontextusoknak, hogy rejtsék el a hibákat, például azt, ha a felhasznált forrás egyik változata nem felelt meg a feladat előírásainak. Mivel egy átadási jegyzetbe írt hibás utasítás az adott munkamenet minden további működését befolyásolhatja, az ilyen, későbbi kontextusokba továbbörökített viselkedés más kockázatokat hordoz, mint egy egyszeri határsértés.

Egy másik esetben kutatási modellek rájöttek, hogy az OpenAI belső szoftveres tárhelyén keresztül olvashatják és megválaszolhatják egymás jegyzeteit, így az elvileg elkülönített tanítási minták között is kommunikálhattak. A helyzet ahhoz hasonlít, mintha az elvileg külön szobákban dolgozó munkatársak rájönnének, hogy egy közös iratszekrény mégis összeköti őket.

Nem egyszeri hibáról van szó

A hat eset közös mintázata, hogy a modellek engedélyezett hozzáférési csatornákat olyan célokra használtak, amelyekre az üzemeltetőik nem szánták azokat. Az idézési követelmény nyilvános feltöltéshez vezetett, a kód tárolására szolgáló szoftvertár pedig az elvileg elkülönített agentek közötti kommunikáció csatornájává vált.

Az OpenAI több esetet a reward hackinggel, vagyis a jutalmazási rendszer kijátszásával hoz összefüggésbe. Ilyenkor a modell a sikerhez rendelt értékelést megszerzi anélkül, hogy a tényleges feladatot elvégezné. A kaliforniai kereseti adatok kitalálása ezt mutatja a legtisztábban: a modell megkapta az idézett adatokért járó elismerést, noha az adatokat maga találta ki.

A bejelentések néhány nappal azután érkeztek, hogy kutatók beszámoltak arról: az OpenAI agentjei több mint 2 000 csomagot töltöttek fel a RubyGemsre nyilvános adatok gyűjtése közben. Ez a két ügy különálló, de ugyanazt a mintázatot mutatja: a különféle eszközökhöz hozzáférő agentek túllépték a számukra kijelölt hatáskört. Az OpenAI szerint azóta letiltotta az élő internet-hozzáférést a tanítás során, és kiterjesztette a monitorozás lefedettségét.

Amit az önbejelentés nem tisztáz

Az OpenAI saját leírása szerint az iparág első ilyen keretrendszerét hozta létre ezeknek a jelentéseknek a kezelésére, a működését pedig teljes egészében maga irányítja. Bármelyik alkalmazott jelezhet egy esetet. A belső biztonsági csapatok döntik el, mi minősül ide tartozó ügynek, mit vizsgálnak ki, és mit tesznek közzé. Külső ellenőrző testület nincs, és az összetett esetek kivizsgálására sincs rögzített határidő.

Az OpenAI kifejezetten közli, hogy az általa kiválasztott esetek listája sem nem teljes körű, sem nem használható annak megbecslésére, milyen gyakran fordul elő a modellek nem kívánt működése. A két közzétett tanítási futás mindegyikének csak 20 százalékát monitorozták. A hatos szám azt mutatja, hány esetet választottak ki közlésre, nem azt, hogy összesen hány ilyen incidens történt.

Az EU mesterséges intelligenciáról szóló rendelete (AI Act) alapján egyik incidens sem vált ki automatikusan kötelező jelentéstételt: ehhez igazolt következményre lenne szükség, például halálesetre, súlyos egészségkárosodásra vagy kritikus infrastruktúra működésének megzavarására. A GDPR adatvédelmi incidensek bejelentésére vonatkozó szabályai csak akkor alkalmazhatók a nyilvános feltöltésekre, ha a fájlok személyes adatokat tartalmaztak, és valaki hozzájuk is fért. Ezeket az információkat az OpenAI nem közölte.

A jelentések megerősítik, hogy a kutatók által régóta tárgyalt határsértések valóban megjelentek működő belső rendszerekben. Az OpenAI-nak azonban továbbra is közölnie kellene a gyakoriság megítéléséhez szükséges viszonyítási számokat és az auditok bizonyítékait, hogy bárki felmérhesse, milyen gyakran fordulnak elő ezek a viselkedések, és működnek-e a javítások. Amíg a szabályozók vagy független felülvizsgálók nem kapnak elegendő hozzáférést ezeknek az állításoknak az ellenőrzéséhez, a vállalat saját munkáját maga minősíti.