Коксон: Anthropic уже может переобучить Mythos, потратив лишь малую долю изначально необходимых вычислительных ресурсов

Что показывает график

График из материалов Anthropic для IPO показывает, как менялись вычислительные затраты на обучение моделей компании. Коксон обратил внимание, что шкала сжата: десятикратный и стократный рост затрат на ней выглядят почти одинаково. При этом кривая всё равно резко идёт вверх — Коксон видит в этом свидетельство того, что алгоритмическая эффективность улучшается не просто быстро, а с ускорением.

Этот слайд из презентации Anthropic для потенциальных инвесторов на IPO показывает, как со временем менялся «множитель вычислительных ресурсов для предварительного обучения» при работе с кодом. Ось Y логарифмическая. Бывший исследователь Anthropic Джейкоб Коксон говорит, что резкий рост с июля 2024-го по октябрь 2026-го указывает на сверхэкспоненциальный прогресс алгоритмов.

Источник: the-decoder.com

По мнению Коксона, Mythos — не разовое отклонение, а точка на сверхэкспоненциальной кривой. Он утверждает, что модель уже можно переобучить, затратив лишь небольшую часть вычислительных ресурсов, которые требовались изначально.

Почему Коксон призывает к паузе

Коксон считает, что улучшение алгоритмов скоро можно будет автоматизировать. Поэтому он хочет, чтобы в следующем году разработку передовых моделей приостановили: это позволило бы конкурентам догнать лидеров. По его словам, пауза превратила бы интеллект человеческого уровня в широко доступный ресурс и навредила бы только OpenAI и Anthropic.

Коксон обучал модели в OpenAI, а последней его работой была Anthropic. В сентябре он привлёк широкое внимание публичными предупреждениями об опасностях передовых систем ИИ; эти опасения разделили и другие представители отрасли. Среди рисков они называют возможность того, что развитый ИИ, способный улучшать самого себя, выйдет из-под контроля.

По оценке Dataist, график отражает взгляд Коксона на ускорение алгоритмических улучшений, но сам по себе не доказывает, что разработка моделей уже может автоматизироваться. Его призыв к паузе связан с опасением, что этот процесс даст лидерам отрасли преимущество, которое конкурентам будет трудно сократить.