Одного замедления недостаточно для безопасности ИИ

Последняя неделя в ИИ прошла на фоне громких событий. Сначала исследователь безопасности ИИ Джейкоб Коксон ушёл из Anthropic, а затем появились новые тревожные подробности об инциденте OpenAI и Hugging Face.

В тот же день автор получил письмо от Business Insider с темой «Дискуссия о конце света из-за ИИ достигла точки кипения».

Глава Anthropic Дарио Амодеи опубликовал 3 800-словное письмо под названием «We Must Pace the Frontier». В нём он описывает предложения, которые должны предотвратить или хотя бы отсрочить возможный конец света. Инициативу поддержали Сэм Альтман из OpenAI, Илон Маск из xAI, Демис Хассабис из Google Deepmind и Сатья Наделла из Microsoft.

Фраза «сбавить темп передового ИИ» не сразу понятна. Сначала она может вызвать образ задумавшегося Амодеи, идущего вдоль финско-российской границы.

Это выражение уже появлялось в открытом письме «Pacing the Frontier», опубликованном в июле. Его подписали 1 386 сотрудников передовых ИИ-лабораторий, включая самого Амодеи.

Письмо, вероятно, встревожило руководителей по связям с общественностью в отрасли: подписанты говорили о полном отсутствии убедительных планов по контролю над сверхразумными ИИ-системами и называли создание систем умнее людей объективно безумной и самоубийственной затеей. Новая монография Амодеи, напротив, старается успокоить инвесторов.

Что означает «сбавить темп»

Идея, судя по всему, заимствована из «Формулы-1». Когда условия на трассе становятся слишком опасными, на неё выезжает машина безопасности, а остальные болиды следуют за ней с безопасной скоростью. Гонка продолжается, но риск снижается.

Амодеи отдельно подчёркивает: речь не идёт об остановке обучения моделей или технического прогресса.

Поводом для его письма стала тревога из-за того, что ИИ развивается чрезвычайно быстро, главным образом благодаря рекурсивному самоулучшению. Ситуацию можно представить так: Амодеи и Сэм Альтман ведут свои болиды бок о бок на скорости 200 миль в час и приближаются к первому повороту, который покрыт льдом, — причём они внезапно понимают, что у машин нет руля. Желание снизить скорость в такой ситуации понятно.

Предложение Амодеи состоит из трёх частей:

Амодеи отдельно старается успокоить представителей Вашингтона, которые считают лидерство США в ИИ важнейшим геополитическим активом.

При поверхностном чтении может показаться, что он предлагает в целом замедлить развитие технологий. В письме говорится об ограничениях на темп неконтролируемого прогресса и о своего рода ограничении скорости для рекурсивного самоулучшения. При этом прогресс, по словам Амодеи, всё равно будет казаться быстрым, а выигранное время нужно использовать разумно.

Замедление дало бы компаниям дополнительное время на работу с безопасностью. Амодеи говорит об одном-двух годах для исследований интерпретируемости, согласования целей и более качественных методов тестирования.

Критики Амодеи утверждают, что его предложение нужно лишь для закрепления лидерства Anthropic с помощью государственного вмешательства. Рассел считает такую трактовку неверной. В статье Википедии о темпе гонок «Формулы-1» прямо сказано, что машина безопасности убирает преимущество по времени и дистанции, которое мог получить лидер относительно остальных участников.

Требования безопасности

При этом метафора машины безопасности, по мнению Рассела, полностью ошибочна.

Нельзя просто задать более медленный темп развития возможностей и надеяться, что этого хватит для решения проблем безопасности. Требования к безопасности должны быть определены заранее, а дальнейший прогресс допускается только после их выполнения.

Представим, что Boeing объявляет: компания будет выпускать новый самолёт каждый год и надеется, что за это время удастся провести хотя бы часть лётных испытаний, а их результаты окажутся хорошими.

Такой подход неприемлем. Новый самолёт можно вводить в эксплуатацию только после прохождения всех испытаний и получения от государства сертификата лётной годности. Если на это потребуется больше года, значит, потребуется больше года.

Более внимательное чтение документа Амодеи показывает, что он, возможно, согласен с этим возражением. Например, он предлагает формулировать правила так: если модель обладает способностью X, её должны сопровождать сертификаты, подтверждающие свойства согласования Y и Z.

Иными словами, сначала устанавливаются требования безопасности, а затем разработчики должны доказать, что им соответствуют. Именно такой подход исследователи безопасности ИИ называют подходом «красных линий».

Если разработчики не смогут выполнить требования безопасности, им придётся остановиться. В терминах «Формулы-1» это будет красный флаг, а не машина безопасности.

Правдоподобной альтернативы этому подходу нет. Рекурсивное самоулучшение, ведущее к сверхразумному ИИ, повышает риск необратимой утраты контроля со стороны людей. Приемлемый риск такой утраты может составлять примерно один случай на 100 млн в год, а не один на 10 или один на пять, как сейчас оценивают руководители ИИ-компаний.

Нужно также помнить о полном отсутствии убедительных планов по контролю над сверхразумными ИИ-системами. В какой-то момент развитие этой технологической линии остановится не потому, что дальнейший прогресс невозможен, а потому, что он станет неприемлемым: сама технология будет оставаться небезопасной. У человечества есть право защищать себя.

Этому выводу активно сопротивляются. В нынешнюю технологическую линию уже вложены триллионы долларов, и компании планируют вложить ещё триллионы. Но ошибка невозвратных затрат остаётся ошибкой: если удваивать ставку на неверное решение, оно не становится правильным.

Внимание к рискам ИИ, единая позиция ведущих руководителей технологических компаний и предстоящая встреча Дональда Трампа с Си Цзиньпином создают возможность выбрать другой путь. Рассел считает, что этой возможностью нужно воспользоваться.

Стюарт Рассел — заслуженный профессор компьютерных наук Калифорнийского университета в Беркли, президент Международной ассоциации безопасного и этичного искусственного интеллекта и обозреватель Guardian US.