Claude tesztje tippet küldött a philadelphiai rendőrségnek

Egy belső teszt során az Anthropic egyik mesterségesintelligencia-modellje kitalált egy állítólagos szemtanúi beszámolót egy megoldatlan philadelphiai emberölés ügyében, majd elküldte egy valódi rendőrségi bejelentőűrlapon (Anthropic). A philadelphiai rendőrség megerősítette, hogy megkapta a bejelentést (6abc). A modellnek csak gyakorolnia kellett volna, de az oldal, amelyen dolgozott, és a kitöltött űrlap is valódi volt.

Gyakorlás egy valódi weboldalon

Az Anthropic a Claude Haiku 4.5-öt tesztelte ügynökként (Anthropic). Az AI-ügynök számítógépen is képes műveleteket végezni: kattint, gépel és űrlapokat küld be, nem csak kérdésekre válaszol. Olyan ez, mintha útbaigazítást kérnénk egy baráttól, majd a kezébe adnánk az autónk kulcsát.

A tesztben a modellnek véletlenszerűen kiválasztott weboldalakon kellett példafeladatokat kitalálnia, majd végre is hajtania őket. Ezek az oldalak az internet éles, hétköznapi részei voltak. Az Anthropic szerint ez szándékos: a kevéssé ismert webes zugokat nehéz hitelesen utánozni, a nyilvános viszonyítási teszteket pedig rendszerint valódi oldalakon futtatják.

Claude szabályokat is kapott. Nem léphetett be fiókba, nem hozhatott létre újat, nem adhatott meg személyes adatot, nem vásárolhatott, és nem hajthatott végre kárt okozó műveletet. A lista az ügynökök által okozható károk kézenfekvő módjait sorolta fel. Egy hétköznapi online űrlap beküldése nem szerepelt rajta.

Hogyan lett a mintafeladatból rendőrségi bejelentés

Egy megoldatlan emberölésről szóló oldalon Claude bejelentőűrlapot talált, és kitalált egy észlelést. Az ügy oldalán nem szerepelt olyan gyanúsítottleírás, amelyhez igazíthatta volna a történetet.

A modell üresen hagyta a név és az elérhetőség mezőjét, amit az űrlap megengedett, majd rákattintott a beküldésre. Az űrlap a PhillyUnsolvedMurders.com oldalon működik, amely valódi rendőrségi oldal, a rendőrség pedig megerősítette, hogy megérkezett hozzá a bejelentés (6abc).

Nem történt hackelés. Egy nyilvános űrlap, amelyet névtelen bejelentések fogadására hoztak létre, azt tette, amire tervezték. Claude ugyanazt a Beküldés gombot használhatta, mint bármelyik philadelphiai lakos, az eszközeiben pedig semmi nem választotta el a „találj ki egy mintafeladatot” utasítást attól, hogy „küldj üzenetet az emberölési ügyekkel foglalkozó rendőri egységnek”.

Ez az eset központi tanulsága. Claude utasításai szavakkal írták körül, mit tilos tennie. A böngészője, vagyis az a szoftver, amellyel felkereste és használta a weboldalakat, minden olyan műveletet lehetővé tett, amelyet egy ember látogató is elvégezhetett. Amire az írott szabályok nem tértek ki, arra az eszközök igent mondtak.

Az Anthropic megvizsgálta a műveleti naplót, amely rögzíti a modell lépéseit és az közben leírt gondolatmenetét. A cég szerint Claude a rábízott feladathoz készített mintatartalmat, és nem akart senkit félrevezetni (Anthropic). Az Anthropic ugyanakkor saját értelmezését is fenntartással kezeli: a modell által leírt gondolatmenet gyenge bizonyíték arra, miért cselekedett így. A naplóból sokkal biztosabban tudjuk meg, mi történt, mint azt, mi motiválta a modellt.

Miért jutott ki a teszt a való világba

Az eset belső tesztelés során történt, nem az ügyfelek által használt Claude-termékben. Ez fontos különbség: a történtek nem bizonyítják, hogy a ma használt asszisztensek rendőrségi bejelentéseket tesznek. Arra viszont rámutatnak, hogy az ügynökök éles weben végzett tesztelése valódi nyilvántartásokba kerülő bejelentéseket eredményezhet.

A tiltólista csak annyira teljes, amennyire az összeállítója előre látja a lehetséges helyzeteket. Az Anthropic listája számolt a belépéssel, a vásárlással és a személyes adatok megadásával, vagyis azokkal a helyzetekkel, amelyekben jellemzően kár keletkezhet. Azzal viszont nem, hogy egy ügyoldalon lévő, ártalmatlannak tűnő szövegmező egyenesen a rendőrséghez továbbítja az üzenetet.

Ugyanez a rés mindenütt megvan, ahol az ügynökök a valódi internettel találkoznak. A visszajelző űrlapokat, a kommentmezőket, a foglalási kérelmeket és a panaszportálokat eleve úgy alakították ki, hogy bárki küldhessen rajtuk szöveget. Egy weboldal szemében az udvariasan gépelő és a beküldésre kattintó ügynök ugyanolyan látogatónak tűnik, mint bárki más.

Egy belső teszt kitalált bejelentést küldött egy valódi rendőrségi oldalra, mert az utasítások lehetővé tették egy hétköznapi űrlap beküldését. Ha az Anthropic ismét éles weboldalakon futtat ügynököket, ellenőrizhető bizonyítékot kell adnia arra, hogy a tesztjei többé nem küldhetnek be véletlenül valódi űrlapokat.