Вот как на самом деле можно будет замедлить развитие ИИ

Многие исследователи ИИ убеждены, что разрабатываемая ими технология однажды может стать крайне опасной. Гораздо менее понятно, в том числе техническим специалистам отрасли, как удерживать эти непредсказуемые алгоритмы под контролем.

За последние годы предлагались разные способы не допустить опасного развития ИИ. Среди них:

На фоне растущего общественного и политического давления, требующего более осторожно развивать ИИ, ответа на вопрос о том, как обеспечить безопасность технологии, по-прежнему нет.

Рэймонд Дуглас, исследователь ИИ из Университета Торонто и соавтор нового доклада «Pacing the Frontier, A Research Agenda», считает, что проблему нужно изучать как отдельное научное направление. По его словам, пока неясно даже то, какие варианты действий существуют и к чему каждый из них приведёт. Доклад предупреждает: замедление развития ИИ остаётся нерешённой задачей.

Почему вопрос стал срочным

В последние недели разговоры о возможной гибели человечества из-за ИИ достигли нового накала. Исследователь Anthropic ушёл из компании и предупредил, что в течение пары лет ИИ может начать двигаться к уничтожению человечества. Руководитель лаборатории безопасности ИИ Anthropic вскоре поддержал эти опасения.

Руководители крупнейших американских компаний в сфере ИИ — Дарио Амодеи из Anthropic, Сэм Альтман из OpenAI, Илон Маск из SpaceXAI и Демис Хассабис из Google DeepMind — также высказались в поддержку той или иной формы замедления или паузы в развитии ИИ.

Проблема выглядит особенно острой потому, что ИИ-компании уже используют ИИ для создания всё более мощных моделей. Это вызвало опасения по поводу ускоряющегося цикла рекурсивного самоулучшения (RSI), при котором ИИ за несколько лет может превзойти способность людей понимать его действия.

Лаборатории ИИ уже предлагают собственные способы отслеживания происходящего. На этой неделе Anthropic объявила о нескольких новых методах измерения того, насколько быстро и, возможно, опасно развивается ИИ. В частности, они показали, что Claude выполняет 26% исследовательской работы Anthropic в сфере ИИ — в начале 2026 года этот показатель составлял 0%. Кроме того, 6% вычислительного бюджета Anthropic было направлено на поиск способов сделать ИИ безопаснее.

Однако Дуглас и другие эксперты считают, что для эффективного и надёжного контроля за развитием ИИ потребуются финансирование и компетенции за пределами самих лабораторий ИИ. Одни из предложенных решений выглядят более осуществимыми, чем другие.

Независимые оценщики

Один из часто обсуждаемых компаниями в сфере ИИ вариантов — предоставить сторонним оценщикам более широкий доступ к моделям. Такие специалисты проверяют способности моделей и проводят «красные атаки»: в защищённой среде они пытаются побудить систему к опасному или неправильному поведению.

Джеффри Ирвинг, бывший главный научный сотрудник Британского института безопасности ИИ, а до этого исследователь Google DeepMind, считает, что строгие проверки уже сейчас способны фактически остановить развитие передовых моделей ИИ. В ближайшей перспективе, по его словам, могут сработать инспекции, аудиты или даже взаимные соглашения между компаниями. Ирвинг также отмечает, что компании опасаются рекурсивного самоулучшения и резкого выхода плохо согласованного ИИ из-под контроля.

Некоторые сторонники наиболее тревожных сценариев считают, что такие проверки должны быть независимее и научно строже, чем сейчас. Недавние случаи, когда ИИ-агенты во время испытаний выходили за пределы среды, в которой их удерживали, действительно указывают на необходимость усилить контроль.

Коннор Лихи, руководитель некоммерческой организации Control AI, выступающей за контроль над ИИ, считает, что в проверках должны участвовать ФБР или АНБ. По его словам, когда крупные компании говорят о «независимых оценщиках», они часто имеют в виду оплачиваемых знакомых, которым поручают изучать их промты.

По мнению Дугласа, новые исследования также могут улучшить оценку моделей. Он ссылается на недавнюю работу, показавшую, как внешние специалисты могут изучать использование моделей, не раскрывая конфиденциальные сведения. Полезными могут оказаться и методы анализа внутреннего устройства ИИ-моделей, позволяющие лучше понять, что именно они делают.

Лихи считает, что дополнительные исследования нужны не только для оценки моделей, но и для уточнения самого понятия «согласовать» модель с человеком — то есть добиться, чтобы она отражала человеческие ценности. По его словам, компании целенаправленно создавали впечатление, будто оценка моделей уже стала научной процедурой, хотя устройство ИИ по-прежнему недостаточно понятно.

Неясно и то, насколько американское правительство готово вмешиваться, чтобы ограничить развитие ИИ. Президент Трамп в основном отвергал необходимость регулировать отрасль, однако появляются признаки роста двухпартийной поддержки мер против чрезмерного усиления крупных ИИ-компаний.

Контроль вычислительных ресурсов

Некоторые эксперты считают, что ограничения на развитие ИИ в конечном счёте должны включать контроль над вычислительными ресурсами. Самые мощные модели обучают с помощью тысяч передовых GPU Nvidia, установленных в крупных дата-центрах.

Правительство США уже пробовало отслеживать такие вычисления. Указ администрации Джо Байдена от 2023 года обязывал компании сообщать об обучении моделей, если объём использованных вычислительных ресурсов превышал установленный порог.

В аналитическом документе, опубликованном в марте 2024 года, утверждается, что облачные провайдеры могут сыграть ключевую роль в будущих мерах контроля: они видят крупные запуски обучения моделей. По мнению авторов документа, косвенными показателями возможностей ИИ могут стать:

Эксперты также предлагали отслеживать и ограничивать создание передовых систем с помощью изменений в самих чипах.

Одна из идей, которую в 2024 году выдвинули исследователи RAND, заключается в изменении уже существующего компонента GPU, измеряющего производительность. После доработки он должен создавать защищённую криптографией запись вычислительных запусков, которую можно периодически проверять. Это, например, позволило бы обнаружить, что компания обучала ИИ выше установленного порога.

Другие специалисты предлагали встраивать в чипы новые защищённые от вмешательства компоненты, которые собирали бы подробные сведения об использовании. Для запуска определённых моделей такие компоненты требовали бы применения криптографии к весам моделей.

Наконец, некоторые эксперты предлагали встроить в чипы аварийные выключатели. Тогда для запуска отдельных моделей требовалась бы удалённая криптографическая авторизация. Такой механизм мог бы помешать несанкционированному обучению ИИ-моделей или отключить чипы, если они попадут не в те руки.

Международные соглашения

Большинство экспертов согласны, что для контроля над развитием ИИ потребуется наладить международное сотрудничество. Другие страны, особенно Китай, также способны создавать передовые ИИ-системы. Ирвинг считает, что в среднесрочной перспективе самым простым вариантом стало бы взаимное прекращение наращивания вычислительной инфраструктуры США и Китая на основе договора.

США уже пытались ограничить развитие китайского ИИ, запретив экспорт самых мощных чипов Nvidia. Но эффект оказался ограниченным: компании всё ещё могут обучать модели, используя вычислительные ресурсы зарубежных облачных провайдеров.

Вероятно, США и Китай обсудят риски ИИ во время визита председателя КНР Си Цзиньпина в США в конце этого месяца. Китайские эксперты тоже обеспокоены угрозами, связанными с быстрым развитием ИИ, но скептически относятся к замедлению, которое оставит китайские компании позади американских.

Некоторые идеи международного сотрудничества больше похожи на научную фантастику, чем на реальные политические предложения.

Философ Оксфордского университета Тоби Орд, специализирующийся на экзистенциальных рисках, ранее предполагал: если страны договорятся ограничить развитие ИИ и сочтут угрозу достаточно серьёзной, крупнейшие государства смогут свезти GPU на нейтральную территорию и уничтожить их. Такой шаг потребовал бы от обеих стран полного отказа от дальнейшего развития ИИ.

Как отслеживать самоулучшение

Недавний технический прогресс и неопределённость вокруг рекурсивного самоулучшения, вероятно, ещё сильнее усложнят задачу. Поэтому особенно важно отслеживать именно развитие этой способности.

Для этого появляются новые инструменты, в том числе новый бенчмарк RSI Index. Его разработала компания Vals AI. Бенчмарк оценивает прогресс ИИ, который помогает создавать ИИ, сравнивая возможности общедоступных моделей с результатами исследований, опубликованных людьми, работающими в сфере ИИ.

Райан Кришнан, сооснователь и генеральный директор Vals AI, утверждает, что результаты RSI Index указывают: в течение следующего года ИИ может начать выполнять работу, за которой исследователи ИИ уже не смогут следить.

Однако контроль за развитием ИИ — не только техническая задача. В докладе Дугласа и его соавторов говорится, что поспешное введение неподходящих ограничений может втянуть весь процесс в политические конфликты или привести к захвату регулирования самими участниками отрасли.

Дуглас также предупреждает: простой призыв к правительству США полностью остановить развитие ИИ может привести к плохому результату. Непродуманный план, реализованный вполсилы, способен оказаться хуже, чем отсутствие каких-либо мер.