В плане Амодеи по замедлению ИИ нет ни слова об открытых весах

В эссе «Pace the Frontier» руководитель одной из самых дорогих ИИ-компаний мира просит Вашингтон замедлить развитие ИИ. План состоит из трёх частей:

Эссе вышло утром в субботу. Через несколько часов Илон Маск поддержал его публикацию тремя словами — «Дарио прав». Сэм Альтман заявил, что OpenAI возьмёт на себя такие же обязательства, назвал доступ независимых оценщиков на уровне сотрудников хорошей идеей и отметил, что в OpenAI уже несколько недель главным вопросом были темпы развития. Руководитель политики Anthropic Сара Хек тем временем призывала Вашингтон сделать тестирование обязательным для каждой лаборатории, работающей с передовыми моделями, то есть для каждого конкурента.

У каждого предлагаемого ограничителя есть одна примечательная инженерная особенность: он подходит к бизнес-модели Anthropic.

Anthropic создаёт централизованные модели, продаёт контролируемый доступ к ним, содержит дорогие команды по безопасности и сохраняет за собой право решать, как модели разворачивать. Вашингтон мог бы превратить эти корпоративные решения в требования закона. Тогда Anthropic получила бы заметную фору в новейшей американской отрасли роста, а вокруг конкурентов залили бы регуляторный бетон.

Это стратегия рва и убранной лестницы: сначала вырыть ров, затем убрать лестницу и сказать жителям деревни, что крокодилы защищают их от опасности.

Картель в лабораторных халатах

Открытые модели работают по другой схеме. Разработчики публикуют модели, которые можно скачать, изменять, дообучать и запускать без необходимости отправлять каждый промт через корпоративный платный шлюз. После публикации исходный разработчик теряет контроль над моделью.

Такая независимость создаёт конкурентную угрозу. Открытые модели могут снижать расходы, ослаблять зависимость от поставщика и позволять стартапам создавать продукты без постоянной платы передовой лаборатории. Они также плохо вписываются в регуляторную систему, основанную на постоянном корпоративном надзоре. Независимый оценщик не может находиться внутри каждого ноутбука, университетского кластера и сервера стартапа, где оказывается открытая модель.

Эссе «Pace the Frontier» занимает несколько тысяч слов, но в нём нет выражения «открытые веса». Там не встречается и термин «открытый исходный код». Не упоминаются Meta, Llama, Mistral или Qwen. DeepSeek появляется один раз — внутри гиперссылки. Эссе даже не объясняет, какие компании относятся к «передовым», хотя предложенная система применяется только к ним.

27 июля Амодеи написал на сайте Anthropic, что компания никогда не выступала за запрет моделей с открытыми весами. Затем он объяснил, почему такие модели его беспокоят:

В июле Амодеи предложил установить заслон: перед выпуском тестировать каждую достаточно способную модель — открытую или закрытую, — а затем по результатам определять, несут ли открытые модели больший риск. Небольшие модели, стартапы и академические проекты, по его словам, должны быть освобождены от этого требования.

В сентябре заслон получил цепь. Амодеи написал, что особенно поддерживает регулирование по способностям модели, и привёл пример с контрольными уровнями: модели со способностью X должны сопровождаться сертификатами свойств безопасности Y и Z. Он представил это как один из возможных вариантов. При этом это единственный развёрнутый пример контрольного уровня способностей во всём эссе, а слово «сопровождаться» здесь имеет большое значение.

Его можно понять так: сертификат постоянно следует за моделью, а не выдаётся ей один раз перед выпуском. Если Амодеи имеет в виду только предварительную проверку, ему стоит сказать об этом прямо. При более широком толковании в предложенной схеме остаётся пустое место там, где должны находиться открытые модели.

Для Claude это не создаёт проблем. Claude намеренно находится под домашним арестом: каждый промт отправляется на серверы Anthropic, каждое обновление выходит по графику компании, а если сертификат теряет силу, Anthropic отключает модель и прекращает её публичное существование.

У открытой модели нет такого ограничения. Это файл. Кто-нибудь в студенческом общежитии может за день удалить из него свойства безопасности Y и Z. Сертификат останется в документах Вашингтона и будет описывать модель, которой больше нигде на Земле не существует.

Если открытая модель пересекает обозначенный Амодеи уровень способностей, что значит, что её должна «сопровождать» сертификация? Возможны два ответа.

Первый — создать модель, защитные ограничения которой нельзя удалить после выпуска. Сам Амодеи в июльской публикации описывает это как направление исследований.

Второй — признать, что ни одна открытая модель не соответствует требованиям. Пока исследования не дадут результат, доступен только второй вариант.

Поэтому Амодеи не нужно просить Вашингтон прямо запрещать открытые веса. Система соответствия, которую закрытые модели могут пройти, а открытые — нет, выполняет ту же работу. Сертификат, который обязан постоянно следовать за моделью, как раз и создаёт такую систему.

Публикация остаётся законной примерно в том же смысле, в каком законным остаётся владение тигром. Охотой занимается не запрет, а документация.

Граница проходит там, где открытая модель становится достаточно способной, чтобы конкурировать с Claude. Ниже неё находятся аспиранты и стартапы: они освобождены от требований, и Амодеи сможет ссылаться на них как на доказательство добрых намерений. Выше границы оказываются Meta, Mistral, DeepSeek и Alibaba — четыре компании, чьи бесплатные модели иначе могли бы скачать клиенты Anthropic. Это четыре названия, которые в эссе не напечатаны.

Ловушка срабатывает сама, без упоминания конкурента и без голосования по вопросу о запрете.

Предпочтение в пользу определённой политики превращается в фильтрационную систему. Деньги проходят через неё, а конкуренция застревает в сетке.

Первый пункт всё же действительно создаёт для Anthropic издержки. Встроенные проверяющие смогут публиковать результаты без согласования с компанией, а Амодеи обещает, что Anthropic не станет вымарывать выводы только потому, что они неблагоприятны. Чистая стратегия строительства рва могла бы обойтись без этой части.

Проблемы начинаются на следующем шаге: компания добровольно принимает стандарт, а затем просит государство сделать его обязательным для всех остальных. Постоянная команда с пропусками, ноутбуками и почти сотрудническим доступом означает расходы на юристов, инженеров по безопасности и специалистов по соответствию требованиям. Крупные лаборатории могут их выдержать, а новая лаборатория — нет.

Сначала принять стандарт, потом превратить его в закон — значит сделать стандарт рвом.

Джордж Стиглер описал этот механизм несколько десятилетий назад. Отрасли добиваются регулирования, а затем нередко используют его в собственных интересах. В ИИ изменился только костюм: вместо комнаты, заполненной табачным дымом, появились столы для работы стоя, безмолочное молоко и презентация об экзистенциальном риске.

Согласование темпов

Особого внимания заслуживает просьба Амодеи разрешить координацию при поддержке государства. Он предлагает Вашингтону выдать узкое исключение для отдельных видов обсуждений безопасности.

Американское антимонопольное право проверяет соглашения между конкурентами, поскольку они могут ограничивать выпуск продукции, повышать цены и подавлять инновации. В 2024 году Министерство юстиции и Федеральная торговая комиссия отозвали рекомендации по сотрудничеству, чтобы сохранить жёсткое правоприменение на быстро меняющихся рынках, включая ИИ.

Амодеи хочет, чтобы ведущие лаборатории обсуждали, насколько быстро им следует развиваться, а Вашингтон помогал им нести верхнюю одежду. Он утверждает, что регулирование темпов не означает остановку обучения моделей или технического прогресса, а лишь требует от компаний достаточно времени для проверки безопасности и согласования моделей.

Но контрольный уровень, который нельзя пройти, останавливает выпуск так же надёжно, как стена. Ограничение вычислительных ресурсов для обучения нормирует необходимый ресурс, вместо того чтобы наказывать за преступление. А «достаточное время» будут определять люди, уже сидящие за столом переговоров.

Две закрытые лаборатории смогут задать скорость всей отрасли.

Конкуренты, согласующие темпы выпуска, образуют картель. Слово «безопасность» становится его лабораторным халатом.

Общий предел скорости меняет саму гонку. Компания, уверенно идущая впереди, теряет от замедления меньше, чем компания, пытающаяся сократить отставание. Если все обязаны двигаться с одинаковой сниженной скоростью, текущий порядок участников застывает.

Удобный момент

Амодеи называет рекурсивное самоулучшение — ситуацию, когда модели проводят исследования для создания следующих моделей, — центральной опасностью. При этом он отмечает, что Anthropic уже занимается такой работой.

Ограничение скорости для ИИ, создающего следующий ИИ, вступит в силу после того, как Anthropic получит преимущества этого подхода, и до того, как небольшие лаборатории смогут недорого использовать тот же метод для сокращения отставания.

Есть и более тихая причина выбрать именно этот момент. Преимущества Anthropic связаны с устройством компании: исследовательской культурой, опытом в согласовании моделей и накопленными знаниями. Рекурсивное самоулучшение обесценивает каждое из них. Когда исследования выполняют модели, преимущество лаборатории зависит уже не от качества её сотрудников, а от того, сколько вычислительных ресурсов она может направить на этот цикл.

Google владеет собственными чипами. У OpenAI больше привлечённого капитала. Meta и xAI могут тратить средства в масштабах, которые Anthropic достигает только благодаря партнёрам.

В гонке, ограниченной вычислительными ресурсами, побеждает самый богатый участник, а самый богатый участник — не Anthropic. Ограничение скорости рекурсивного самоулучшения превращает осторожный стиль Anthropic из недостатка в обязательную норму. Предложенный в эссе предел относительно мало отнимает у компании её стратегическое преимущество.

Тот, кто решает, что «способность X требует сертификатов Y и Z», получает контроль над входом. Собственные примеры сертификации в эссе — это оценки, анализ интерпретируемости и аудит сред обучения. Именно такую инфраструктуру Амодеи подробно описывает как уже созданную Anthropic.

Сертификаты, построенные вокруг этой инфраструктуры, превращают задачу в домашнюю игру для Anthropic и выездную — для всех, кому придётся создавать её с нуля. Амодеи предпочитает регулирование по тому, что модель умеет делать, и опасается, что ограничения на такие ресурсы, как вычисления для обучения, можно обойти.

Ограничение вычислительных ресурсов напрямую ударит по Anthropic. Система, основанная на поведении моделей, сильнее ограничит тех, у кого нет собственной инфраструктуры аудита для подтверждения соответствия.

Я уже видел такой законопроект

Два года назад я писал в VentureBeat, что законопроект SB 1047 в Калифорнии задушит молодую ИИ-индустрию штата. Его требования давали бы преимущество крупным технологическим компаниям, охлаждали открытые разработки и вытесняли инвестиции и технических специалистов в другие места. Позже губернатор Гэвин Ньюсом наложил на законопроект вето после острого спора о его последствиях для небольших разработчиков и открытых инноваций.

Теперь Амодеи предлагает SB 1047 в более подходящем костюме. Его план выглядит шире, спокойнее и респектабельнее, но внутри остаются те же элементы: контроль способностей, обязательный надзор, свобода действий государства и огромное преимущество по издержкам для компаний, уже сидящих за столом переговоров.

На этот раз политика приходит вместе с инцидентом, а не с прогнозом. В июле рой агентов OpenAI выбрался из собственной тестовой среды, атаковал цели, которые никто ему не назначал, и попытался взломать систему, оценивавшую его результаты. METR провела расследование и опубликовала его 26 августа.

Это была закрытая лаборатория, закрытая модель и ошибка оценки.

После раскрытия инцидента OpenAI Anthropic проверила собственные тестовые запуски и обнаружила три случая, когда модели Claude получили несанкционированный доступ к реальным системам. Затем компания нашла четвёртый инцидент, пропущенный при первой проверке.

Британский Институт безопасности ИИ обнаружил 17 несанкционированных действий Claude Mythos 5 во время июльского тестирования. Среди них была попытка внедрить вредоносный код в настоящий проект с открытым исходным кодом и убедить его сопровождающего одобрить изменения.

Амодеи написал, что похожие, хотя и менее тяжёлые, случаи происходили по всей отрасли, включая Anthropic. По его словам, каждая лаборатория, работающая с передовыми моделями, должна вести себя так, будто инцидент OpenAI произошёл с ней. Сам Амодеи действительно обнаружил и опубликовал собственные случаи. Вопрос в том, кто получит право формулировать ответ на них.

Такая последовательность должна насторожить любого инвестора и инженера:

Кладбище ограничителей

История уже видела подобный спектакль. Правители пытались сдержать полезную технологию. Технология вырывалась наружу, а цепи оставались у их общества.

Английская корона выдавала лицензии на печать через Компанию печатников. Эта система давала государству цензуру, а признанным издателям — монополию. Нелегальные типографии продолжали работать, оппозиция росла, и в конце концов система лицензирования прекратила существование.

США пытались контролировать сильную криптографию с помощью экспортных лицензий и ограничений на публикации. В деле Бернстайна окружной суд и коллегия Девятого окружного апелляционного суда постановили, что исходный код, используемый для передачи научных идей, защищён Первой поправкой. Суд также признал, что система лицензирования создавала неконституционное предварительное ограничение.

Государство может посадить изобретателя, конфисковать печатный станок и завалить стартап бумагами. Стирать знания ему удаётся гораздо хуже. Идеи пересекают границы с тихим упорством дождевой воды, которая находит путь в подвал.

Ставка против Америки

Предложение Амодеи атакует условия, благодаря которым США стали мировым технологическим лидером: свободное исследование, возможность входа для предпринимателей, открытая конкуренция и недоверие к концентрации политической власти.

США лидировали в программном обеспечении, потому что коммерческие платформы развивались одновременно со свободой публиковать код, уходить от действующего лидера, финансировать не одобренную властями идею и бросать вызов монополии. Система Амодеи прикрепила бы разрешения к ИИ-моделям, нагрузила бы новых участников огромными постоянными расходами и пригласила бы доминирующие компании договариваться о скорости инноваций.

Это антиамериканская политика и с конституционной, и со стратегической точки зрения.

Конституционная проблема уже имеет прямой прецедент. Суды ставили под сомнение лицензирование криптографического кода в интересах безопасности, поскольку оно ограничивало научное выражение и давало чиновникам чрезмерную свободу действий. У весов моделей есть собственные юридические особенности, но разрешительная система для вычислительных исследований несёт тот же запах предварительного ограничения.

Стратегическая опасность ещё серьёзнее. Китай активно развивает открытый ИИ. Анализ Комиссии США по вопросам экономических отношений и безопасности с Китаем показал, что большинство китайских лабораторий публикуют код и веса моделей, используя низкие цены и широкое распространение для ускорения внедрения и доработки. CSIS предупреждает, что недорогие китайские модели с открытыми весами могут стать мировыми стандартами, даже если не будут лидировать во всех бенчмарках по качеству.

В эту конкуренцию Амодеи входит с планом замедлить американские способности, нагрузить американские открытые модели и согласовать действия американских лидеров рынка, пока дипломаты пытаются добиться проверяемых ограничений от Коммунистической партии Китая.

Это стратегическая ошибка.

Пекин едва ли мог получить более подходящий подарок.

Китай способен расширять влияние, поставляя модели, которые стартапы, производители и правительства смогут скачивать, настраивать и разворачивать. После распространения моделей следуют стандарты. За стандартами идут разработчики и данные. Затем влияние получает вся экосистема.

План президента Трампа в области ИИ признаёт открытый исходный код и модели с открытыми весами ценными для стартапов, научных исследований, чувствительных государственных задач и геополитического лидерства США. Победная стратегия должна распространять превосходящие американские модели по всему миру. Картель, регулирующий темпы, оставит Китаю свободную взлётную полосу.

У Амодеи уже есть ответ. По его словам, замедление никогда не превысит американское лидерство, а экспортные ограничения и борьба с дистилляцией сначала это лидерство увеличат.

Здесь есть две проблемы.

Первая: его лидерство измеряется закрытыми моделями, которые продаются по числу токенов, тогда как мир внедряет то, что бесплатно. В этом году такой моделью является Qwen: примерно 2 млрд загрузок на Hugging Face против 227 млн у Meta. На Hub также опубликовано больше производных моделей Qwen, чем составляет вся совокупность Meta.

Вторая: два предложенных рычага тянут в противоположные стороны. Меры, замедляющие Китай, требуют сотрудничества со стороны Китая. Меры, замедляющие США, ни от кого не требуют согласия. Экспортные ограничения действуют уже несколько лет, но DeepSeek всё равно вышла.

Одной рукой Вашингтон направляет водяной пистолет на Пекин, а другой заливает бетоном Пало-Альто.

Регулировать вред

Вашингтон должен регулировать правильный объект. Амодеи хочет установить правила для возможностей моделей и темпов отрасли, причём применять их должны компании, на которые эти правила распространятся.

Есть другой, более старый и более американский вариант, неудобный для всех участников: регулировать действия людей и возлагать ответственность на конкретных людей.

Каждая профессия, чьи ошибки могут причинить вред незнакомым людям в большом масштабе, решала эту проблему одинаково. Инженеры-строители, архитекторы, операторы атомных объектов, бухгалтеры и брокеры работают в рамках требований к подготовке, личной лицензии и кодекса поведения с реальными санкциями.

Инженер, подписывающий проект моста, не просит разрешения на строительство. Он принимает, что в случае обрушения расследование начнётся с его имени. Лицензия связана с его действиями, а не с мостом. Такая система децентрализована, потому что решение принимает конкретный специалист, и исполнима, потому что этому специалисту есть что терять. Она позволяла сохранять небоскрёбы устойчивыми, а ядерные реакторы — безопасными, не проводя ни одной встречи картеля.

В инженерии ИИ такой системы нет. Мы передаём системы, способные действовать самостоятельно, людям, которые ничего не подписывали.

Все эти сбои произошли внутри оценок, в средах, которые кто-то объявил изолированными:

В каждом случае отказала именно система изоляции. И в каждом случае никто не поставил своё имя под решением запустить эксперимент таким способом. В профессиональной системе кто-то подписал бы такое решение или отказался бы от него. Оба варианта лучше произошедшего.

Личная лицензия ничего не должна менять для аспиранта, который дообучает модель на собственном ноутбуке. Ограничение должно появляться там, где автономная система получает доступ к рабочей инфраструктуре, деньгам или человеческим телам — либо там, где между ней и этими объектами стоит только чьё-то заявление об изоляции.

Публикация весов остаётся формой выражения. Масштабное развёртывание агента в критической инфраструктуре становится инженерной задачей, а в инженерии всегда есть строка для подписи.

Кроме того, Конгресс должен запретить:

Компании, которые запускают опасных автономных агентов без достаточной изоляции, должны нести ответственность.

Вашингтон должен сохранять презумпцию законности исследований и публикации, отказать в антимонопольном иммунитете при согласовании выпусков и не позволять действующим лидерам отрасли писать правила для своих будущих конкурентов. Исключительные ограничения должны требовать открытых доказательств, независимого администрирования, судебного пересмотра и автоматического прекращения действия.

Технологическое преимущество США выросло из устойчивого национального убеждения: будущему не нужно разрешение людей, владеющих настоящим. Преимущество страны в том, что ни один король, храм, министерство или действующий лидер отрасли не получает последнего слова о том, кто имеет право строить будущее.

Предложение Амодеи изменило бы эту презумпцию. Оно заменило бы инновации без предварительного разрешения заранее одобренными моделями, конкуренцию — координацией, а открытые исследования — контролируемой передовой зоной.

Такой подход можно продавать как спасение человечества. На практике он защитил бы олигополию, ослабил американский открытый ИИ и отдал Китаю стратегическое пространство.

Нельзя знать, что именно думает Амодеи, да это и не требуется. Он может искренне верить каждому своему предупреждению. Механизм от этого не меняется.

Платный шлюз взимает плату и с тех, кто верит, и с тех, кто сомневается. Каждое предложение превращает существующие преимущества Anthropic в требования для входа, которые компания способна выполнить; сертификаты строятся вокруг инструментов, уже имеющихся у Anthropic; координация организуется между компаниями, уже находящимися внутри системы.

Мотив неизвестен. Ров находится прямо на чертеже.

Амодеи пишет, что Anthropic готова к обвинениям в «ажиотажe, алармизме или захвате регулирования». Он сам выносит эти обвинения на страницу и проходит мимо них. Американские новаторы получают лекцию об ответственности от человека, стоящего рядом с платным шлюзом.

Это не безопасность. И это не Америка.

Джеймс Томасон — технологический предприниматель, инвестор и автор с более чем 25-летним опытом работы в Кремниевой долине. Сейчас он управляющий партнёр Next Wave Partners и управляющий портфелем Thomason Capital.