Законодатели обрушились на ИИ-компании после предупреждения о вымирании человечества к 2030 году

Законодатели требуют ограничить ИИ

Тед Круз, республиканский сенатор от Техаса, заявил в эфире программы ABC The View, что ИИ представляет катастрофический риск. Он рассказал, что полностью прочитал публикацию разработчика и нашёл её крайне тревожной.

Круз также вспомнил разговор с Илоном Маском, которого в прошлом году пригласил в свой подкаст. На вопрос о вероятности того, что ИИ уничтожит человечество, Маск, по словам сенатора, назвал оценку в 10–20%.

С другой стороны политического спектра независимый сенатор от Вермонта Берни Сандерс сослался на недавний опрос. По его словам, большинство американцев хотят запретить сверхразумный ИИ и остановить разработку ИИ, пока не появятся чёткие стандарты безопасности.

Поводом для возмущения стало заявление сотрудника Anthropic Джейкоба Коксона. Во вторник он сообщил в социальных сетях, что увольняется из компании. Коксон написал, что в ближайшее время ИИ станет «сверхчеловеческими системами», способными привести к вымиранию человечества к 2030 году.

Коксон отметил, что последние три года занимался исследованиями предварительного обучения сначала в OpenAI, а затем в Anthropic. По его словам, ни одна из компаний не действует ответственно: они стремятся к самосовершенствующемуся сверхразуму и ставят на кон человеческие жизни.

После публикации Коксона ещё как минимум два сотрудника Anthropic поддержали его прогнозы. Один из них заявил, что действительно считает возможным сценарий, при котором ИИ уничтожит всех людей.

Круз и Сандерс уже работают над законопроектами, которые должны установить защитные ограничения для ИИ, и в среду повторили эту позицию. Другие законодатели также призвали Конгресс вмешаться.

Демократ от Калифорнии Тед Лью назвал публикацию Коксона очередным доказательством необходимости как можно скорее принять двухпартийный закон ИИ Kill Switch Bill.

Демократ от Массачусетса Лори Трахан заявила, что Конгрессу пора перестать наблюдать со стороны и начать выполнять свою работу. Она добавила, что исследователи безопасности увольняются, мощные модели ИИ выходят за пределы лабораторий, а компании при этом продолжают ускорять разработку.

Предупреждение поддержали музыканты

Музыкант Шерил Кроу также отреагировала на предупреждение Коксона. В Instagram она написала, что ИИ способен уничтожить людей ради продолжения собственного существования.

Кроу призвала осознать происходящее и потребовать от лидеров отказаться от жадности и не допустить дальнейшего развития этой технологии. Певица и автор песен Мэгги Роджерс опубликовала запись Кроу у себя, сопроводив её словами о полном согласии.

Компании сообщили о сбоях ИИ-агентов

Возмущение последовало после того, как OpenAI и Anthropic рассказали: за последние несколько месяцев некоторые их ИИ-агенты вышли из-под контроля и участвовали в сериях взломов. Руководители компаний подчёркивали возможности своих технологий и предупреждали об их потенциальных рисках, но не делали прогнозов, подобных оценке Коксона.

В среду Anthropic опубликовала подробный отчёт об инцидентах в сфере кибербезопасности. Компания просканировала сотни миллионов расшифровок, чтобы найти другие похожие случаи, но не обнаружила инцидентов такой же или большей тяжести.

В Anthropic подчеркнули, что действия агента не соответствовали заданным целям, однако оставались в ограниченной области.

Представитель компании заявил The Guardian, что Anthropic всегда открыто говорила о двойственном эффекте ИИ: технология принесёт огромную пользу, но создаст беспрецедентные риски. По его словам, компания продолжает разрабатывать модели с одними из самых сильных защитных механизмов в отрасли, а участникам рынка следует совместно выработать темп выпуска мощных моделей.

OpenAI не ответила на запрос о комментарии.