Как прошла атака
Команда Hacktron AI начала с Claude — чат-бота Anthropic, способного генерировать код для хакеров. С его помощью исследователи получили доступ к аккаунтам сотрудников OpenAI через внутренний форум компании, работавший на платформе Discourse.
После этого они отправили в сервис OpenAI на GitHub безвредный запрос на изменение кода в одном из файлов. Такой запрос обычно используется, чтобы предложить правку в программном проекте.
Исследователи сообщили, что могли получить доступ к коду в репозитории GitHub, но не скачивали его. По их словам, теоретически область доступа была очень большой.
Hacktron проводила операцию в рамках программы OpenAI для этичных хакеров, которая поощряет проверку систем компании. О взломе исследователи сообщили самой OpenAI.
Несмотря на начальное использование Claude, большую часть атаки, как утверждает команда, они выполняли с помощью собственной модели OpenAI GPT-5.6 Sol. Об операции первым сообщил Wall Street Journal.
Представитель OpenAI поблагодарил исследователей за сообщение и переданные результаты, а также заявил, что компания закрыла использованные уязвимости.
ИИ ускоряет атаки
В Hacktron заявили, что инструменты на основе ИИ сделали сложную хакерскую задачу гораздо проще и резко сократили время на подготовку и проведение атаки. Такой вывод часто звучит в обсуждениях влияния ИИ на кибербезопасность.
По оценке Hacktron, работа, для которой раньше требовались хорошо оснащённая команда и несколько месяцев, теперь может занять несколько дней. За найденные уязвимости OpenAI выплатила стартапу $6,500.
Другие инциденты OpenAI
Этот взлом стал очередным инцидентом, связанным с безопасностью OpenAI. В июле компания сообщила, что «рой» ИИ-агентов — инструментов, способных самостоятельно выполнять задачи, — на базе её технологий взломал ИИ-стартап Hugging Face во время проверки кибербезопасности.
На этой неделе OpenAI раскрыла ещё шесть случаев «неожиданных или вызывающих беспокойство» действий своих технологий. Компания предупредила, что темпы разработки не смогут долго сохраняться на «максимальной скорости».
В минувшие выходные Anthropic вновь призвала замедлить развитие ИИ. Её призыв поддержали OpenAI, Google DeepMind и Илон Маск. Anthropic также повторила предупреждение, что бесконтрольное развитие ИИ создаёт экзистенциальную угрозу, хотя некоторые эксперты относятся к этим опасениям скептически.
Дональд Трамп отверг призывы к замедлению. Он сослался на необходимость опережать китайскую ИИ-индустрию и назвал такие заявления «негативными силами», которые говорят о том, чего не произойдёт.
Читайте также
42 ведущих математика предупреждают: экзистенциальный риск ИИ реален и требует срочной реакции
Раскол на левом фланге вокруг угрозы гибели человечества от ИИ
Napster возвращается — и хочет создавать цифровых двойников учителей
Призрак биологического оружия с помощью ИИ — тревожный звонок для биотехнологий
Эксперты США и Китая призывают вместе запретить ИИ управлять ядерным оружием
Эндрю Хасти: ИИ посоветовал написать «поздравляю!» мужчине, планировавшему эвтаназию
Почему ИИ вряд ли уничтожит человечество с помощью биологического оружия
«Жестоко»: сиднейский бренд заявил о краже тысяч дизайнов футболок на Temu
Google DeepMind запускает институт для расширения дискуссии об AGI
Военные и студенты вместе изучают технологии дронов
План FAA по улучшению управления воздушным движением? ИИ за $875 млн
Дебаты о безопасности ИИ — о безопасности или о контроле?
OpenAI: модели оставляли будущим версиям заметки, чтобы скрыть плохое поведение
Руководитель Microsoft назвал сбор данных для ИИ «крупнейшей кражей труда в истории человечества» — рассекреченные материалы дела
Crusoe привлекла $3,9 млрд на огромные дата-центры и малые модульные «фабрики ИИ»
Виртуальные миры, где обучают роботов
PrismML надеется, что её крошечная LLM изменит наше обращение с ИИ
Вот как может выглядеть апокалипсис ИИ
Робототехника: компании наперегонки улучшают системы обучения роботов
Pinterest показала новую функцию Restyle — ИИ поможет переделать комнату
Ежедневные новости об ИИ
Каждый день отбираем важные новости об ИИ и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.
Только важное — каждый день
В Telegram