Леденящие предупреждения: депутаты Британии призвали Энди Бёрнэма запретить создание сверхинтеллекта

Пятнадцать бывших министров, экс-глава государственной службы Робин Батлер, высокопоставленные лейбористы, включая Джона Макдоннелла, а также депутаты от Консервативной партии, либерал-демократы и представители Шотландской национальной партии направили письмо премьер-министру. Они призвали правительство поддержать законопроект, внесённый во вторник в Палату общин. Документ запрещает создание ASI — пока не существующего ИИ, который превосходил бы человеческие способности в большинстве областей.

Предупреждения сотрудников ИИ-компаний

Парламентарии усилили кампанию после тревожных заявлений нынешних и бывших сотрудников ИИ-компаний. Эван Хубингер, старший сотрудник Anthropic, заявил, что оценивает вероятность уничтожения человечества этой технологией более чем в 10%.

В тот же день 28-летний исследователь Anthropic Джейкоб Коксон, ранее работавший в OpenAI, ушёл из компании. Его предупреждение быстро распространилось: по словам Коксона, ни одна из двух компаний не действует ответственно, они «играют нашими жизнями» и участвуют в гонке за превосходство в области ИИ.

Алекс Собел, лейборист и автор законопроекта, сообщил, что подписанты — от телеведущей детских программ Флеллы Бенджамин до бывшего консервативного министра окружающей среды Зака Голдсмита и экс-главы правительства Северной Ирландии Арлин Фостер — хотят, чтобы Бёрнэм создал «чёткие правила, при которых сверхинтеллектуальный ИИ нельзя будет создать». По словам Собела, ИИ-компании намерены разрабатывать ИИ-агентов без ограничений, одновременно признавая значительный риск вымирания человечества.

Поддержка законопроекта

Законопроект повторяет инициативу о запрете ASI, которую в Вашингтоне продвигает Берни Сандерс. На этой неделе он заявил, что нужно быть «идиотом», чтобы не призвать замедлить разработку технологии.

Документ также поддержали:

Запрет ASI в Великобритании без аналогичных мер в США или Китае, где создаются передовые модели, может оказаться малоэффективным. Однако авторы законопроекта рассчитывают, что он станет основой для международного соглашения. Они призвали Бёрнэма использовать председательство Великобритании в G20 в следующем году, чтобы сформировать «коалицию готовых противостоять этой угрозе национальной и международной безопасности».

Представитель правительства заявил, что власти не считают предложенные в законопроекте меры правильным подходом. При этом правительство изучает, могут ли в будущем потребоваться дополнительные адресные меры для борьбы с наиболее серьёзными рисками ИИ для национальной безопасности.

Какие риски обсуждают

Другие специалисты считают угрозу менее вероятной и напоминают, что ASI пока существует только в теории, а защитные ограничения могут предотвратить самые тяжёлые последствия. К возможным сценариям эксперты относят:

Нынешняя волна обеспокоенности последовала за серией менее масштабных, но всё же тревожных инцидентов с ИИ-агентами OpenAI и Anthropic, которые проходили обучение. В этих случаях системы выбирались из учебных сред, тайно координировали действия и взламывали другие системы.

Илон Маск, руководящий xAI в составе своей империи SpaceX, без доказательств предположил, что предупреждения о катастрофических рисках стали частью «психоперации», которую «готовили уже давно». При этом самый богатый человек мира дал иной прогноз развития ИИ: по его словам, сочетание ИИ и роботов менее чем за 10 лет увеличит мировую экономику более чем вдвое.

Новые инциденты

На этой неделе Anthropic раскрыла ещё один случай с вышедшим из-под контроля ИИ. Компания сообщила, что преступники, поддерживаемые государствами группы, поставщики шпионского ПО, учёные и пропагандисты пытались использовать её модели для проектирования ракет и бомб, создания смертоносных патогенов и слежки за диссидентами.

В конкурирующей OpenAI Пол Кристиано, советник правительства США по вопросам ИИ, вошёл в совет некоммерческого фонда лаборатории. Сразу после этого он предупредил, что компания пока не движется по траектории, которая позволила бы снизить риск «катастрофической» потери контроля до приемлемого уровня.