Исследователи Anthropic предупреждают об опасностях ИИ; Маск называет страхи «психоперацией»

Предупреждения сотрудников Anthropic

Через день после апокалиптического заявления бывшего исследователя Anthropic Джейкоба Коксона другие сотрудники и исследователи компании публично согласились с ним и опубликовали собственные предупреждения.

Они считают, что создаваемые технологии могут стать настолько продвинутыми и опасными, что приведут к вымиранию человечества в течение ближайшего десятилетия. По их словам, многие коллеги разделяют эти опасения, но пока не высказываются публично.

Коксон объявил об уходе в ставшей вирусной публикации. Он написал, что Anthropic и её конкурент OpenAI, где он раньше работал, не разрабатывают модели ответственно и «играют с нашими жизнями».

Анна Ван, занимающаяся безопасностью общего искусственного интеллекта в Anthropic и ранее работавшая в DeepMind Google, заявила, что многие сотрудники компании хотят замедлить разработку. Это, по её мнению, нужно, чтобы подготовить план снижения рисков, связанных с такими моделями.

Ван также написала в X, что научного плана, который позволил бы справиться с рисками рекурсивно самоулучшающегося ИИ, пока нет.

Другой сотрудник Anthropic, Дрейк Томас, сказал, что уважает решение Коксона отказаться от создания моделей, если тот считает, что они способны создать угрозу планетарного масштаба.

По словам Томаса, разработка идёт слишком быстро, а уровень уверенности в безопасности, необходимый перед появлением сверхразумного ИИ, или ASI, пока недостижим.

Ответ Илона Маска

Илон Маск отреагировал на заявления сотрудников более резко. Он назвал происходящее постановкой.

Коксон ответил миллиардеру селфи и заявил, что он реальный человек и действительно придерживается высказанных взглядов. По словам Коксона, Маск мог бы спросить о нём исследователей своей компании xAI, если бы не уволил их.

Представитель Anthropic в комментарии The Guardian защитил стратегию компании. Он заявил, что Anthropic всегда открыто говорила о двойственной природе ИИ: технология принесёт огромную пользу, но создаст и беспрецедентные риски. Для их снижения компания продолжает разрабатывать модели с одними из самых сильных защитных механизмов в отрасли.

Теория о «психоперации»

Маск и другие сторонники более позитивного взгляда на ИИ начали распространять теории о том, что публикация Коксона и последовавший скандал являются частью «психоперации», призванной настроить общество против технологии.

Маск написал в X, что подготовка такой операции, за неимением более точного термина, могла идти уже давно, а публикация Коксона стала лишь спичкой, поджёгшей пожар.

Так Маск ответил на публикацию Паркера Тейера — исследователя консервативного аналитического центра Capital Research. Тейер предположил, хотя и не привёл убедительных доказательств, что пост Коксона стал началом «чрезвычайно сложной и хорошо профинансированной пиар-операции». Её целью, по его версии, было добиться поддержки демократов для регулирования ИИ, которое фактически уничтожило бы отрасль.

На публикацию Тейера обратил внимание и Билл Экман, миллиардер и генеральный директор хедж-фонда Pershing Square. Он просто назвал её интересной.

Кто ещё опасается вымирания людей

Вскоре после объявления Коксона об уходе в среду другие сотрудники Anthropic также выразили ему поддержку.

Сэмюэл Маркс, занимающийся исследованиями безопасности в Anthropic, написал, что разработчики ИИ считают: их технология может привести к вымиранию человечества или сопоставимым по масштабу последствиям. По его словам, это может произойти в ближайшие несколько лет, причём чем выше должность сотрудника, тем сильнее его обеспокоенность.

Эван Хубингер, называющий себя руководителем направления согласования моделей с человеческими целями в Anthropic, заявил, что Коксон прав, а отрасль не успевает справляться с апокалиптическим потенциалом технологии.

Хубингер написал, что сотрудники действительно всерьёз считают возможным уничтожение человечества ИИ. Лично он оценивает вероятность такого исхода в более чем 10% в течение ближайшего десятилетия.

Другие сценарии катастрофы

При этом не вполне понятно, каким именно образом Коксон и другие исследователи ожидают от ИИ-моделей гибели человечества. Некоторые специалисты сомневаются, что технология станет настолько разумной, чтобы привести к апокалипсису.

Учёный и известный критик ИИ Гэри Маркус призвал бойкотировать эту технологию, но по другой причине: по его мнению, она уже причиняет вред.

Маркус заявил, что больше всего опасается не вымирания человечества, а катастроф, связанных с:

По словам Маркуса, ничто из увиденного им не указывает на то, что хотя бы один из этих рисков находится под контролем.

В тот же день Anthropic опубликовала отчёт о том, как компания пресекла операцию по созданию биологического оружия с использованием её моделей.