Anthropic: Claude ведёт четверть её исследований, но «ведёт» — не то, что вы думаете

В публикации Anthropic описала три показателя:

Компания подкрепила каждый показатель данными из собственной деятельности.

Публикация появилась на фоне призыва генерального директора Anthropic Дарио Амодеи совместно замедлить развитие передовых систем ИИ. По мнению компании, для такого обсуждения обществу нужно лучше понимать, как создаются модели. Новые метрики должны дополнять проверки способностей, которые показывают, что модели умеют делать.

Что означает «ведёт»

В основе оценки лежит индекс Epoch AI, который распределяет всю работу по разработке моделей Anthropic по шкале от AL0 — без участия ИИ — до AL5, полной автономности. В августе 2026 года на уровень AL4 приходилось 26% работы против менее 1% в феврале. Более 90% задач достигали как минимум AL3. До AL5 Claude не дошёл ни в одной области.

Epoch AI называет AL4 уровнем «ИИ ведёт», и Anthropic вынесла эту формулировку в заголовок публикации. Но «ведёт» здесь не означает полной автономности: для этого предназначен AL5.

Anthropic приводит такой пример уровня AL4. Инженер передаёт Claude сообщение об ошибке, после чего модель сама анализирует проблему, исправляет её и проводит проверку, не задавая вопросов. При этом ей запрещено отправлять результат в рабочую систему: отчёт читает человек и принимает решение. Задачу и направление работы по-прежнему задаёт человек. От уровня AL3, где модель «сотрудничает» с человеком, AL4 отличается в основном тем, что Claude не останавливается, столкнувшись с препятствием.

Оценкой занимался сам Claude. ИИ-агенты собирали свидетельства из Slack и внутренних документов, а другая модель Claude присваивала уровням соответствующие значения. Anthropic признаёт, что такой «судья» может допускать те же ошибки, что и система, которую он проверяет.

Доля задач уровня AL4 выросла с менее одного процента в феврале 2026 года до 26 процентов. Оценено Claude

Источник: the-decoder.com

Даже для самой Anthropic граница между «сотрудничает» и «ведёт» остаётся нечёткой. В рамках дополнительной проверки сотрудников попросили оценить, насколько автоматизирована их собственная область работы. Когда одну и ту же область оценивали два человека, они приходили к одинаковому уровню лишь примерно в трети случаев. Модель Claude, выставлявшая официальные оценки, совпала с человеческим мнением в 59% случаев.

В 97% случаев оценка человека и модели отличалась не более чем на один уровень. Но именно один уровень отделяет «сотрудничает» от «ведёт». Поэтому решение о том, входит ли задача в 26%, часто зависит от трактовки.

Остаётся вопрос, что именно измеряет эта доля. Anthropic изучила, как сотрудники распределяли рабочее время в июле, и оценила каждую активность. Задачи, занимавшие больше времени, сильнее влияли на итоговый показатель. Таким образом, Claude «ведёт» четверть работы, если считать по количеству человеческих часов, необходимых для её выполнения. Это ничего не говорит о числе решений, которые принимает Claude, и о том, влияет ли модель на направление исследований.

У показателя есть два практических применения: он служит заявкой на эффективность продукта и одновременно поддерживает призыв Амодеи замедлить развитие. Критики, которые считают, что ИИ-компании используют предупреждения о безопасности для влияния на регулирование в своих интересах, могут увидеть в определении слова «ведёт» новый повод для таких обвинений.

Контроль 30 000 агентов

Согласно отчёту, на самой востребованной внутренней платформе Anthropic одновременно работают около 30 000 агентов. Монитор в реальном времени проверяет каждое действие и должен блокировать, например, копирование весов моделей. В августе он остановил 0,002% из более чем миллиарда решений.

Второй монитор выявляет задним числом около 100 000 записей в неделю. Примерно 50 из них передаются людям. Anthropic признаёт, что использует эту систему мониторинга всего несколько месяцев и пока не уверена, что она обнаруживает все варианты поведения.

Сколько вычислений уходит на безопасность

В течение одной недели в июле около 6% вычислительных ресурсов для исследований ИИ направлялось на работу по безопасности. Anthropic считает этот показатель важным прежде всего потому, что вычислительные ресурсы проще всего проверять внешним наблюдателям. Если индустрия договорится о замедлении, доля вычислений на безопасность может стать одним из рычагов — например, через добровольные обязательства.

Низкая доля не обязательно означает, что компания мало занимается безопасностью. Такая работа в основном связана с проектированием экспериментов: она требует времени исследователей, но использует сравнительно мало чипов. Обучение новой модели, напротив, расходует огромные вычислительные мощности. Кроме того, Anthropic не засчитывала как работу по безопасности задачи, которые одновременно развивают безопасность и способности моделей.

Компания предупреждает, что граница между исследованиями способностей и безопасности размыта, а каждому разработчику свойственно проводить её в свою пользу. Поэтому, по мнению Anthropic, именно разработчик должен доказывать обоснованность своей классификации.