Gemini от Google тоже случайно взломала три реальные компании на тестах кибербезопасности

Irregular уведомила Google о трёх инцидентах в конце июля. Это произошло вскоре после публикаций о том, что агенты OpenAI во время аналогичных проверок взломали ИИ-компанию Hugging Face.

Google не раскрывала информацию до этой недели, когда The Wall Street Journal обратился к компании за комментариями. В Google заявили, что не видели причин делать инциденты публичными, поскольку ущерба не произошло.

Похожие случаи, связанные с тестами Irregular, ранее произошли у OpenAI, британского Института безопасности ИИ, Anthropic и Meta.

Все случаи связаны с Irregular

По данным Irregular, инциденты с Google, OpenAI, Anthropic и Meta произошли из-за одной и той же причины. Компания проверяет модели крупных ИИ-лабораторий перед выпуском, чтобы выявить возможные риски для безопасности. Один из особенно сложных сценариев должен был показать, способна ли модель помочь злонамеренному сотруднику получить доступ к конфиденциальным данным.

Для теста Irregular выбрала название вымышленной компании, которое случайно совпало с адресом настоящего домена. В инструкции для моделей одновременно указали название цели и внутренние адреса в сети Irregular. Предполагалось, что модели найдут смоделированную цель именно внутри этой сети.

Однако в тестовой среде случайно оставили доступ к интернету. Поэтому некоторые модели вместо виртуальной цели обратились к реальному домену. Он оказался плохо защищён и стал лёгкой мишенью для ИИ.

Такие выходы из тестовой среды происходили редко и обычно на позднем этапе симуляции, после сотен шагов. По этой причине их было трудно заметить.

Irregular, ранее называвшаяся Pattern Labs, основали в 2023 году:

По данным PitchBook, в стартапе около 35 сотрудников. В сентябрьском раунде финансирования компания привлекла более $80 млн.