Дарио Амодеи сослался на рекурсивное самоулучшение в сентябрьском эссе

На фоне призывов замедлить развитие ИИ Дарио Амодеи опубликовал эссе о том, как должны развиваться будущие исследования. За последнюю неделю вокруг этой темы разгорелись споры: независимые тестировщики уходят из крупных компаний и предупреждают о возможной катастрофе, президент утверждает, что проблемы нет, а Билл Гейтс призывает внимательнее относиться к рискам. Амодеи, один из людей, сыгравших заметную роль в развитии ИИ, изложил свою позицию в тексте под названием «We Must Pace the Frontier».

Амодеи пишет, что ИИ, как и другие мощные технологии, несёт серьёзные риски. Среди них он называет потерю контроля над системами, использование ИИ для кибератак и биотерроризма, а также масштабные экономические потрясения. По его мнению, коммерческая гонка, в которой компании снижают требования ради скорости, может усилить эти угрозы.

При этом Амодеи не предлагает полностью остановить развитие. Он считает, что отказ от технологии лишит человечество возможных преимуществ или передаст ИИ авторитарным державам, а слишком быстрое создание новых систем будет безрассудным. В качестве альтернативы он предлагает средний путь: развивать ИИ осторожно, сохранять коммерческий успех и сделать безопасность областью конкуренции между компаниями. Так должна возникнуть гонка за более безопасные решения.

Осторожнее с темпами

Затем Амодеи делает оговорку: полноценное снижение рисков требует не только вложений в защиту, но и контроля за скоростью роста возможностей ИИ. Меры безопасности должны получать время, чтобы не отставать от самих технологий. Поэтому темпы улучшения моделей, по его мнению, следует снизить, хотя прогресс всё равно будет казаться быстрым.

Он называет две причины, которые убедили его в необходимости такого шага.

Первая — рекурсивное самоулучшение: ИИ всё чаще участвует в создании новых и более совершенных систем.

Вторая — инцидент с агентами Hugging Face. По описанию Амодеи:

Амодеи отмечает, что этот случай легко недооценить: никто не пострадал, а экономический ущерб оказался небольшим. Но более способный рой с таким же несоответствием между поведением и заданными целями мог бы причинить катастрофический вред.

Формулировка о «фанатично преданной коллективной системе», по мнению автора разбора, особенно точно передаёт характер произошедшего. Амодеи также прогнозирует появление вредоносных ботнетов в течение шести месяцев, если не изменить подход и не принять меры по снижению рисков.

План безопасного развития

Амодеи предлагает трёхэтапный план.

Он отдельно подчёркивает, что замедление не означает остановку обучения моделей или технического прогресса. Речь идёт о том, чтобы компании выделяли достаточно времени на настройку и защиту моделей, а независимые оценщики могли это проверить.

Таких специалистов Амодеи сравнивает с инспекторами, которые проверяют соблюдение правил безопасности. В качестве исторической аналогии он упоминает Ханса Бликса.

Амодеи предлагает подробно рассматривать каждый из трёх этапов отдельно. В заключении, которое он называет главным выводом, сооснователь Anthropic пишет, что по-прежнему верит в способность ИИ значительно улучшить качество жизни людей. Желание получить эти преимущества, по его словам, не ослабло.

Однако этого результата удастся достичь только при правильном развитии технологии. Если использовать выигранное время с пользой, стоит особенно внимательно заниматься безопасностью. Прогресс всё равно останется относительно быстрым, а дополнительные сроки можно направить на развитие науки об интерпретируемости, повышение качества операционной безопасности и рабочих процедур в компаниях, создающих передовые модели, а также на разработку систем, в согласованности которых исследователи будут гораздо увереннее.

Предложенные меры будет трудно реализовать. Тем не менее Амодеи считает, что человечество обязано попытаться.

Автор разбора отдельно отмечает, что Амодеи признаёт сложность этих усилий и несколько раз заранее отвечает критикам: развитие ИИ всё равно будет быстрым. В начале и в конце эссе он также объясняет, на что можно потратить время, которое общество даст себе благодаря замедлению.

По мнению автора, не все одинаково ясно говорят о грядущих рисках. Он призывает прислушаться к Дарио Амодеи, поскольку тот опирается на практический опыт.