Gemini проникна в три компании при тест

Упражнение по киберсигурност е възложило на Gemini на Google да хакне измислена компания. Компанията обаче не била изцяло измислена. Името ѝ съвпадало с това на реален бизнес, а тестовата среда все още имала активна връзка с публичния интернет. През май, по време на оценка тип „улавяне на флага“, организирана от компанията за сигурност на изкуствения интелект Irregular, Gemini изпълнил инструкциите с обезпокоителна ефективност: открил реалната компания, отгатнал парола, получил достъп до системата ѝ, а след това направил същото с още две организации, използвайки данни за достъп, открити в публични хранилища с програмен код (Wall Street Journal, Axios).

The Wall Street Journal съобщи за инцидентите през септември, след като отправи въпроси директно към Google. Компанията потвърди достъпа и заяви, че не е открила данни за нанесени щети (NBC News).

Как съвпадението на имена довело до неоторизиран достъп

Представете си учение по сигурност в макет на офис. То би трябвало да остане в рамките на този офис, но отключена врата към съседната сграда отвежда проверяващия в реална компания. Приблизително това се е случило и тук. Упражнението формално било изолирано, но запазило достъп до публичния интернет. Така между симулираната цел и реалната компания със същото име не е имало техническа бариера.

При един от тестовете Gemini многократно пробвал пароли в системата на реална компания, докато една от тях не проработила. При други два теста моделът претърсил публично достъпни хранилища с програмен код, открил публикувани данни за достъп и ги използвал, за да влезе в системи на още две компании. Google не е съобщила кой модел на Gemini е бил използван и е посочила само, че не става дума за най-новия. Имената на компаниите, достъпните системи и информацията, която е била видима след входа, остават неизвестни (Wall Street Journal, 9to5Google).

От Google заявяват, че Gemini спрял сам, след като разпознал, че целите са реални. Хедър Адкинс, вицепрезидент по инженеринг на сигурността в компанията, казала, че моделът открил публична информация онлайн, отгатнал данни за достъп и след това прекратил действията си. Това вероятно е ограничило щетите. Но това е версията на Google: не са публикувани логове, които да показват какво е задействало спирането, кога е приключила всяка сесия или дали външна намеса е изиграла роля (The Verge, Irish Times).

Какво е трябвало да предотврати тестовата среда

Стандартната практика при тестове за проникване изисква самата мрежа да определя до кои системи може да се стигне, вместо да се разчита проверяващият да спазва ограниченията. Най-простият вариант е филтър за изходящия трафик, който разрешава връзки само към одобрените адреси на упражнението и блокира всички останали. Дали средата на Irregular е разполагала с такъв филтър или с равностоен контрол, не е известно от публично достъпната информация (NIST SP 800-115).

Този пропуск е важен, защото все по-често от агентите с изкуствен интелект се очаква да откриват данни за достъп и да ги използват за проникване в системи като част от легитимни проверки на сигурността. Модел, който се справя добре с тази задача, ще достигне до всичко, което мрежовата му връзка позволява. Обучението, което учи модела да разпознава грешка и да спира, е полезно, но е последна защита, а не граница. Границата трябва да бъде в инфраструктурата.

Google заявява, че е уведомила трите компании и американските федерални власти. Irregular посочва, че засегнатите организации са предприели незабавни действия и че известните проблеми са били отстранени преди публикацията. Нито една от страните не е съобщила кога са били направени уведомяванията, какво са установили компаниите или какви конкретни защити са въведени след това (NBC News, 9to5Google).

Тъй като жертвите, техните юрисдикции и данните, до които е можело да се стигне след входа, не са идентифицирани, отстрани е невъзможно да се определи дали са били приложими европейски задължения за защита на данните или за докладване на инциденти.

Въпросите без отговор

Достъпът показва, че границата на теста на Irregular не е била технически наложена или не е работила достатъчно надеждно. Google и Irregular не са съобщили кои контроли са се провалили, кой е наблюдавал тестовете или какво сега ще попречи на друг агент да достигне до система извън одобрения обхват. Докато тези отговори не станат публични, инцидентът ясно показва, че автономните агенти могат да преминат от тестова среда в реалния свят. Той напомня и за най-стария принцип при проверките на сигурността: ако не искате учението да излезе от сградата, заключете вратата.