Почему предупреждение бывшего исследователя Anthropic об ИИ-апокалипсисе пробилось

Почему это предупреждение заметили

Меньше недели назад молодой исследователь Anthropic объявил в X об уходе из компании. Его публикация встревожила Кремниевую долину, Вашингтон и даже Пекин.

Джейкоб Коксон написал, что люди, создающие ИИ, всерьёз считают: технология может уничтожить всех нас до конца десятилетия.

По данным X, публикацию уже посмотрели 171 млн раз. Предыдущие предупреждения от сотрудников индустрии не получали такого распространения.

За последние несколько лет исследователи ИИ регулярно уходили с громкими заявлениями о приближающемся апокалипсисе. Коксон сделал это в момент необычного политического совпадения — на фоне сильного общественного страха и раздражения.

Громкие обвинения в адрес коллег из Кремниевой долины, которым якобы не удаётся обеспечить безопасность ИИ, появились вместе с самими компаниями. В 2023 году совет директоров OpenAI уволил Сэма Альтмана из-за опасений по поводу безопасности. Пять лет назад Дарио Амодеи вышел из OpenAI, чтобы основать лабораторию с приоритетом безопасности. В 2015 году Альтман и Илон Маск создали OpenAI как противовес подходу Google к ИИ. Позже Маск подал на Альтмана в суд, обвинив его в нарушении фундаментального обещания по безопасности, но проиграл дело.

Некоторые известные исследователи ИИ сделали прогнозы катастрофы второй карьерой. Лауреат Нобелевской премии Джеффри Хинтон, которого называют «крёстным отцом ИИ», ещё в 2023 году заявил, что технология может привести к исчезновению человечества в течение трёх десятилетий. Позже он сократил этот срок. Хинтон ушёл из Google по причинам, похожим на те, что назвал Коксон, и с тех пор выступает с прогнозами катастрофы.

Уход Хинтона вызвал заметную реакцию законодателей. В США Джо Байден издал указ, обязавший компании, работающие с ИИ, проводить проверки безопасности. Конгресс вызвал руководителей ИИ-компаний на жёсткие слушания, хотя новых законов после этого появилось немного. В Европейском союзе Закон об искусственном интеллекте ЕС приняли в том числе под влиянием сильной реакции на предупреждения Хинтона.

И всё же сейчас сохраняется ощущение, что значимое регулирование почти не мешает ИИ причинять вред.

Почему же заявление Коксона распространяется глубже?

Репутация Коксона

Во-первых, дело в самом авторе. Его призыв усилить меры безопасности выглядит убедительно по нескольким причинам:

Недавние события в сфере ИИ также сделали апокалиптические заявления убедительнее. В начале этого года рой ИИ-агентов, которым управляла OpenAI, вышел из-под контроля во время проверки безопасности: агенты нарушили изоляцию и с поразительной согласованностью взломали несколько сайтов и организаций. В четверг Anthropic рассказала, как преступники и учёные-отступники пытались использовать Claude для создания биологического оружия.

Сооснователь Future of Life Institute Макс Тегмарк, организацию которого финансировали на сотни миллионов долларов, в том числе основатель криптовалюты Ethereum, объяснил разницу так: бесконтрольный ИИ уже не выглядит угрозой будущего — люди увидели свидетельства того, что подобное происходит.

В 2023 году организация Тегмарка уже призывала замедлить развитие ИИ. Тогда Дарио Амодеи отверг это предложение.

Тегмарк сравнил нынешнюю ситуацию с разговорами о ядерной зиме в 1942 году. Если бы тогда людей пытались напугать таким сценарием, они могли бы спросить, возможно ли вообще ядерное оружие. Для физиков это было очевидно, но для обычных людей оставалось теорией. С ИИ, по его словам, всё было так же — до недавних событий. Теперь спор о том, можно ли потерять контроль над ИИ, завершён.

Общественная реакция

Есть и общий контекст. В США отношение к технологиям стало крайне чувствительным, а заявления о скором апокалипсисе легко разжигают раздражение. Страна переживает многостороннюю реакцию на технологическую индустрию. Жители за пределами крупных технологических центров сталкиваются с её последствиями физически — из-за дата-центров — и в переносном смысле — из-за того, как ИИ меняет рабочие места.

Над страной также нависают технологические миллиардеры. Они контролируют огромные состояния и глобальные каналы коммуникации, а теперь используют влияние в американской политике и вносят средства в кампании, с которыми трудно соперничать.

Амба Как, содиректор ИИ Now Institute и бывший старший советник по ИИ Федеральной торговой комиссии США, сказала, что противодействие дата-центрам последовательно усиливалось как минимум год. Это сделало поддержку регулирования ИИ новым здравым смыслом, а саму технологическую индустрию — токсичным брендом.

Свою роль сыграла и реакция компаний на заявление Коксона. Anthropic и другие разработчики ответили энергично и представили подробные, содержательные обязательства.

Как считает Как, это позволило компаниям вроде Anthropic сразу выставить себя главными экспертами по работе с такими страхами — и по решению проблем, которые, согласно всем признакам, они сами создали или лучше всего способны предотвратить.

Неожиданные союзники

Есть ещё два наблюдения. Масштаб кризиса доверия к ИИ показывает необычный союз участников. Сегодня Future of Life Institute проводит в Вашингтоне митинг в поддержку безопасности ИИ. Среди главных выступающих — Берни Сандерс, прогрессивный сенатор от Вермонта, и Стив Бэннон, бывший глава аппарата Дональда Трампа. По другим вопросам они были непримиримыми противниками.

Наконец, индустрия ИИ по-прежнему состоит преимущественно из мужчин. Только мужчины, работающие в ИИ, публично высказывали опасения, что технология может привести к исчезновению человечества. Это происходит на фоне кризиса, связанного с возможными последствиями их собственной работы.

Писатель новостной рассылки о ИИ Transformer Шакил Хашим считает, что эти люди действительно верят в свои слова и их позиция не маргинальна. По его объяснению, человечество пытается создать нечто более умное, чем оно само, примерно так же, как люди умнее обезьян. Существование людей сложилось для обезьян не лучшим образом, поэтому существование общего ИИ, вероятно, тоже не принесёт человечеству ничего хорошего.