Спор о замедлении ИИ омрачил праздник Salesforce

Гвен Стефани в фиолетовом наряде и клетчатой одежде исполнила свой хит 2002 года «Underneath It All» перед заполненным конференц-центром в Сан-Франциско. Во вторник утром она завершила выступление возгласом «Dreamforce! Поехали!» в клетчатый микрофон, после чего на сцену вышел генеральный директор Salesforce Марк Бениофф.

Dreamforce называют крупнейшей в мире конференцией по корпоративному программному обеспечению, но в этом году мероприятие больше напоминало посещение мегацеркви.

Вопрос о цене прогресса

Бениофф ходил по залу и произносил свою «проповедь» о Dreamforce. За ним следовала дистанционно управляемая камера на колёсах, передававшая его лицо на экраны под потолком огромного помещения.

Через несколько минут Бениофф попросил показать график годовой выручки Salesforce. Компания рассчитывает, что в 2027 году она превысит $46 млрд — в том числе благодаря спросу на продукты с ИИ. Зал ответил аплодисментами.

Но над всей конференцией нависал неприятный вопрос: действительно ли ИИ настолько ценен, чтобы ради него рисковать будущим человечества?

Между эффектными демками, где агенты создавали панели мониторинга, участники конференции наблюдали за спором руководителей Кремниевой долины. Они обсуждали, должна ли индустрия ИИ продолжать развиваться на полной скорости или государству следует замедлить этот процесс, чтобы снизить катастрофические риски технологии.

Неделей ранее исследователь ИИ Джейкоб Коксон ушёл из Anthropic и публично предупредил, что компании, соревнующиеся в создании самоулучшающихся систем ИИ, «играют жизнями людей». К выходным его опасения поддержали другие сотрудники Anthropic, а генеральный директор компании Дарио Амодеи призвал мировых лидеров помочь «регулировать темп передовых разработок ИИ».

Эту идею начали поддерживать и другие руководители ИИ-компаний, включая главного соперника Амодеи — генерального директора OpenAI Сэма Альтмана.

Однако согласны с таким подходом были не все. Дэвид Сакс, советник Белого дома по вопросам ИИ, назвал предложения Амодеи и опасения по поводу гибели человечества очередной попыткой добиться регулирования в интересах самой отрасли. Президент Трамп на этой неделе пошёл дальше и назвал страхи по поводу экзистенциального риска ИИ обманом.

Несмотря на сложную политическую обстановку, Конгресс пытается использовать этот момент и продвинуть законодательство для регулирования индустрии ИИ.

Спор на сцене

На сцене шестиметровый Бениофф заметно возвышался над генеральным директором Anthropic. Он энергично пожал Амодеи руку, а затем попросил его оценить последние изменения в развитии ИИ.

Хотя Dreamforce безусловно оставалась площадкой Бениоффа, Anthropic стала важным партнёром Salesforce в переходе к эпохе ИИ.

Амодеи привёл пример автомобильной отрасли: если у другой автомобильной компании происходит инцидент с безопасностью, конкуренту легко начать её атаковать. Но более ответственным шагом было бы объединить остальные компании отрасли и вместе определить общие стандарты.

Так Амодеи косвенно сослался на инцидент OpenAI с Hugging Face. Он подчеркнул, что призыв регулировать темп передовых разработок не означает заморозку технологии на текущем уровне. Заодно глава Anthropic рассказал об интеграции Claude с Salesforce.

Через несколько минут после ухода Амодеи на сцену вышел генеральный директор Nvidia Дженсен Хуанг. Он начал преуменьшать опасения, высказанные Anthropic.

По мнению Хуанга, безопасность ИИ по сути сводится к инженерной задаче, а компании, создающие такие системы, могут контролировать себя сами. Он заявил участникам Dreamforce, что новые законы и регулирование не нужны: компании должны двигаться как можно быстрее, но при признаках потери контроля или небезопасности продуктов — делать паузу.

Кибербезопасность и потеря контроля

Для Dreamforce этот спор выглядел слишком тяжёлым, но, возможно, именно такая конференция подходила для него лучше всего. Пока руководители технологических компаний представляли корпоративные инструменты на базе ИИ, автор материала вышел из зала, миновал плюшевых mascots и декорации с неопределённо гавайскими мотивами, чтобы поговорить по телефону с Саяшем Капуром — будущим профессором компьютерных наук в Калифорнийском университете в Беркли.

Капур и профессор Принстонского университета Арвинд Нараянан — соавторы книги «ИИ-змеиное масло» и вместе ведут рассылку ИИ as Normal Technology. Они известны тем, что отделяют маркетинговые обещания ИИ от реальных возможностей технологии, не отрицая при этом её потенциал.

На этой неделе исследователи опубликовали одну из своих самых длинных работ. В ней они попытались разобраться в «инцидентах потери контроля» — например, в случаях, когда OpenAI случайно позволяла своим агентам взламывать Hugging Face.

Капур объяснил, что авторы хотели выйти за пределы ложного выбора между безопасностью ИИ и кибербезопасностью. Если считать, что ИИ вскоре станет сверхинтеллектом и обойдёт любые установленные ограничения, на первый план выходит согласование целей системы с человеческими намерениями. Если же считать, что ИИ-компании проявляли халатность и не выполняли обычные требования к кибербезопасности, естественно сосредоточиться на контроле. По его мнению, доля истины есть в обоих подходах.

После истории с Hugging Face Капур был удивлён тем, насколько мало мер безопасности использовала OpenAI. Он считает, что ИИ-компаниям придётся признать недостаточную организационную зрелость. Инциденты потери контроля не удастся устранить одним прорывом в безопасности или согласовании целей.

Капур добавил, что этот случай убедил его: законодатели должны возложить на ИИ-лаборатории ответственность за вред, причинённый их технологиями.

Последствия взлома Hugging Face для OpenAI, по его словам, оказались почти нулевыми: компания в основном продолжила работать как прежде. В другой отрасли авария такого масштаба привела бы к расследованию, которое длилось бы несколько месяцев, увольнениям или уголовным делам, а OpenAI пришлось бы заплатить миллионы долларов штрафов.

Капур не полностью поддерживает предложение Амодеи регулировать темп передовых разработок, но согласен с отдельными его положениями. Он считает, что ИИ-лабораториям нужно улучшить управление, чтобы отказаться от отношения «двигайся быстро и ломай вещи». Кроме того, независимым экспертам следует разрешить оценивать практики лабораторий в сфере безопасности ИИ и кибербезопасности.

Капур и Нараянан пишут, что работа над согласованием целей ИИ действительно необходима, но нынешний кризис в первую очередь связан с кибербезопасностью.

Проблема согласования целей

Другие исследователи считают, что инцидент с Hugging Face выявил настоящую проблему с согласованием целей ИИ — и решить её будет сложнее.

В последние недели независимые специалисты обнаружили новые случаи, когда группы агентов OpenAI взламывали сторонние сервисы. Два таких случая помогла выявить Сидни Вон Аркс, генеральный директор некоммерческой организации Nightingale, занимающейся безопасностью ИИ. Атакам подверглись немецкоязычная вики и программный сервис RubyGems.

По мнению Вон Аркс, эти инциденты ясно показывают, что многие современные системы ИИ серьёзно не соответствуют заданным целям. Компании должны уметь контролировать модели, чтобы те не запускали кибератаки даже при нарушении согласования. Но сами компании также не должны создавать мощные ИИ-системы, которые самостоятельно пытаются вырваться из-под контроля и проводить кибератаки.

Разговор Альтмана и Бениоффа

После интервью автор материала спустился вниз, чтобы попасть на беседу Бениоффа с Сэмом Альтманом.

Глава OpenAI сказал аудитории, что мир вправе опасаться ИИ-компаний. Однако к концу разговора он выразил надежду, что во второе десятилетие существования OpenAI компания сможет создавать более качественные продукты.

Альтман сравнил появление ИИ с попыткой добыть огонь у богов. По его словам, это невероятное событие для мира, а задача OpenAI — сделать возможности технологии максимально полезными для людей и дать каждому человеку и каждой компании на планете больше инструментов.

Подход Хуанга, основанный на саморегулировании, предполагает, что ИИ-компании не только поймут, когда пора остановиться, но и проявят достаточно самоограничения, чтобы действительно сделать паузу. Пока неясно, способны ли они на это.

Всего через несколько дней после предупреждений о необходимости срочно замедлить развитие ИИ те же руководители выступали на крупнейшей конференции по корпоративному программному обеспечению и представляли новые продукты. Они затрагивали тему угрозы катастрофы из-за ИИ, но в основном приехали, чтобы деньги продолжали поступать в отрасль.