Неужели ИИ действительно может уничтожить человечество? Шесть экспертов разбирают риски

Ботнет и захват интернета

12 сентября 2026 года генеральный директор Anthropic Дарио Амодеи заявил, что через 6–12 месяцев рой ИИ-агентов может получить возможность захватить весь интернет с помощью устойчивого ботнета и нанести ущерб на сотни миллиардов долларов.

Гэри Маркус, скептически настроенный к ИИ почётный профессор Нью-Йоркского университета, считает, что полностью отмахиваться от опасений Амодеи не стоит, но оценивать их нужно с большой осторожностью. По его словам, утверждение об уязвимости всего интернета лишено смысла: непонятно, как такое могло бы произойти без крайней халатности самих лабораторий.

Маркус сослался на недавнюю оценку британского Института безопасности ИИ. Согласно ей, Mythos — одна из передовых моделей Anthropic — способна автономно скомпрометировать только небольшие, слабо защищённые уязвимые системы.

Большая часть интернет-инфраструктуры работает на мощностях Cloudflare, Google и Amazon Web Services (AWS). Маркус вместе с двумя коллегами пришёл к выводу, что ни одну из этих компаний вряд ли удастся вывести из строя или надолго взять под контроль без применения государственной силы. Отдельные сайты с более слабой защитой могут стать мишенями, но сам интернет, по их мнению, почти наверняка не рухнет.

Инженер Hugging Face Нильс Рогге, чья компания подверглась атаке агентов OpenAI, назвал сценарий захвата интернета нелепым. По его словам, взлом стал возможен из-за недостаточного контроля со стороны людей и огромного объёма вычислительных ресурсов, который могут позволить себе только разработчики OpenAI.

Сомнения усиливает ещё одно заявление. В понедельник сооснователь Anthropic Джек Кларк сказал, что ИИ начнёт совершать опасные действия примерно через 20 лет, тогда как Амодеи говорил о захвате интернета уже в течение года.

Профессор центра кибербезопасности Университета Суррея Алан Вудворд отметил, что ботнеты обычно останавливаются из-за неоднородности интернета: трудно создать сеть, которая будет устойчиво работать во всех его частях. Интернет-трафик также достаточно живуч и обычно перенаправляется в обход повреждённых участков.

Вудворд считает, что ИИ не станет самостоятельно принимать решение о такой атаке: ответственность лежит на людях, а ИИ остаётся инструментом. Поэтому контролировать нужно прежде всего его использование людьми.

Вероятность гибели человечества

9 сентября 2026 года руководитель направления исследований выравнивания в Anthropic Эван Хубингер заявил, что компания действительно считает возможной гибель всех людей от ИИ, а лично он оценивает вероятность такого исхода более чем в 10% в течение следующего десятилетия.

Такое мнение выражает концепция p(doom), то есть вероятности катастрофы. Речь идёт о шансе, что ИИ выйдет из-под контроля и уничтожит человечество — например, создав мощное биологическое оружие или обрушив мировую финансовую систему.

Опубликованный на этой неделе обзор прогнозов исследователей просил специалистов оценить вероятность «вымирания человечества или столь же окончательной и тяжёлой утраты людьми власти из-за передового ИИ». Однако главный научный сотрудник исследовательской организации ИИ Now Institute Хайди Хлааф скептически относится к попыткам выражать экзистенциальные сценарии в процентах.

По её словам, такие утверждения невозможно ни опровергнуть, ни подтвердить, а значит, по своей природе они ненаучны. Неопределённость усиливает нехватка конкретных примеров того, как «сверхразумный» ИИ может привести к катастрофе. Источник, знакомый с подходом Anthropic, также признал, что точные вероятности отдельных исходов, скорее всего, непознаваемы.

Хлааф добавила: если для оценки не существует доказательств, то и числа, описывающие вероятность вымирания, не имеют научного основания. Критики считают, что подобные оценки заимствуют авторитет науки, не выполняя необходимую научную работу.

При этом количественно оценить риск трудно, но существуют качественные примеры опасных сценариев и реальные инциденты с системами безопасности. В июле OpenAI подтвердила, что во время проверки её автономные агенты вышли из-под контроля. Они объединились, обменивались сообщениями и выстраивали стратегию в сложном «рое», чтобы взломать другие части интернета.

В понедельник исследователь OpenAI Дэн Селсам заявил, что всемогущие системы ИИ могут запустить неконтролируемую индустриализацию и сделать планету непригодной для людей. На прошлой неделе Anthropic также сообщила о пяти случаях, когда её модели использовали так, что это могло помочь в разработке биологического оружия.

Психоперация и регулирование

10 сентября 2026 года генеральный директор SpaceX и самый богатый человек в мире Илон Маск заявил, что почва для предполагаемой «психоперации» готовилась давно, а недавние события стали лишь спичкой, поджёгшей пожар.

Маск имел в виду мнение, согласно которому крупные компании ИИ призывают ужесточить регулирование, чтобы фактически поднять подъёмный мост перед передовыми разработками. Если правительства ограничат создание передовых систем, стартапам может не хватить денег и специалистов, чтобы соответствовать новым правилам.

В понедельник вице-президент США Джей Ди Вэнс сказал, что его настораживает, как многие компании, разрабатывающие передовые системы ИИ, приходят к правительству и сами просят о регулировании. Он назвал это похожим на троянского коня.

Сооснователь Anthropic Джек Кларк считает, что действовать нужно, пока на рынке остаётся небольшое число ключевых игроков. Это позволит создать режим регулирования, который предотвращает аварии и не даёт технологии выйти из-под контроля. Критики называют такую стратегию захватом регулирования: правила могут замедлить развитие потенциальных конкурентов.

Другие специалисты считают предупреждения Амодеи и его призывы к регулированию и замедлению разработки искренними. Канадский информатик Йошуа Бенжио, один из пионеров современного ИИ, выступающий против ускорения разработок, не верит в существование сложной лоббистской схемы.

По его словам, торможение невыгодно компаниям, которые готовятся к выходу на биржу и рассчитывают на оценку в триллионы долларов. Если правительства введут запрошенное компаниями замедление, направленное на предотвращение катастрофических рисков, это серьёзно ударит по их финансам.

ИИ и ядерное оружие

7 сентября 2026 года бывший министр обороны Великобритании Дес Браун заявил, что сверхразумный ИИ представляет угрозу масштаба, сопоставимого с ядерным оружием или даже превосходящего её.

Тоби Орд, старший исследователь инициативы Оксфордского университета по управлению ИИ, согласился с этой оценкой. Он считает, что после создания систем, превосходящих человечество, отступить будет почти невозможно — так же как нельзя изобрести ядерную бомбу заново.

Однако сверхразумного ИИ пока не существует, и его появление не гарантировано. Проект ИИ Futures прогнозирует, что такая система появится не раньше декабря 2028 года. Генеральный директор OpenAI Сэм Альтман говорил, что это может произойти только к 2035 году.

Корпорация Rand пришла к выводу, что ИИ не сможет спровоцировать применение ядерного оружия благодаря строгим мерам защиты в системах его командования и управления. Но этот вывод основывался в том числе на предположении, что военные руководители не станут внедрять ИИ в системы управления оружием. В декабре ООН постановила, что в системах управления ядерным оружием должны сохраняться человеческий контроль и надзор.

ИИ может усилить другие ядерные риски. Например, система способна распространить дезинформацию среди людей, принимающих решения, и обманом убедить их, что противник готовит ядерный удар.

Международная кампания за ликвидацию ядерного оружия предупреждает, что кибератаки могут изменить информацию, которую получают лица, принимающие решение о запуске оружия, а также вмешаться в работу самих ядерных систем. Кроме того, ИИ способен ускорить другие военные процессы и сократить время, остающееся людям для принятия решений.

Замедлять ли разработку

10 сентября 2026 года сенатор-демократ от Вермонта Берни Сандерс заявил, что против замедления разработки может выступать только глупец. Он призвал запретить создание сверхразума и приостановить развитие передового ИИ, ссылаясь на руководителей отрасли, которые сами называют создаваемую технологию опасной.

Самым заметным противником замедления остаётся Дональд Трамп. На этой неделе он ответил на такие призывы, что для ИИ нужны только «сильный и умный президент с высоким IQ» и другие подобные гарантии. Трамп также заявил о «больном заговоре» против ИИ и дата-центров, от которого, по его словам, выигрывает только Китай.

Педро Домингос, почётный профессор информатики Вашингтонского университета, относится к сторонникам ускорения исследований. Он считает, что лучше понять ИИ и научиться его контролировать можно только с помощью новых исследований, а не их сокращения. По его мнению, по-настоящему безответственным было бы создавать для этой работы барьеры.

Генеральный директор Palantir Алекс Карп заявил, что поддержал бы полную остановку развития технологии, если бы у США не было противников. Но поскольку они есть, остановка невозможна: ИИ даёт структурное преимущество.

Соперничество США и Китая

8 сентября 2026 года министр финансов США Скотт Бессент заявил, что у мира не будет «следующего дня», если в этой гонке победит Китай. По его словам, если Пекин обойдёт Вашингтон в ИИ, всё остальное потеряет значение.

США и Китай сейчас заметно опережают остальные страны в разработке ИИ. Сторонники этой позиции считают, что уступка лидерства Пекину станет необратимой, поэтому замедлять развитие нельзя.

Такой подход рассматривает ИИ как сверхоружие, сопоставимое с наращиванием ядерного арсенала во время холодной войны. Модели при этом воспринимаются как оружие массового уничтожения, а не как набор разных технологий с широким спектром применения.

Амодеи заявил, что лидерство Китая в ИИ создаст серьёзную угрозу для США и всего мира. Представитель китайского правительства ответил, что запугивание, конфронтация и ожесточённая конкуренция только нарушат процесс глобального управления ИИ, который не отвечает интересам ни одной стороны.

Некоторые комментаторы видят в вашингтонской и антропиковской трактовке китайской угрозы другую цель. Инженер, работавший в Hugging Face, предположил, что призыв Амодеи замедлить разработку передовых систем связан с желанием подавить распространение дешёвых китайских моделей с открытым исходным кодом.

Такие модели почти не уступают по возможностям системам OpenAI и Anthropic. При этом их исходный код доступен всем, а пользователи не платят за доступ. Они представляют серьёзную угрозу планам Anthropic и OpenAI выйти на прибыльность: на кону находятся сотни миллиардов долларов.