CPU снова в игре благодаря ИИ-агентам — что это значит для вас

На саммите ИИ Infra Summit в Санта-Кларе Иэн Бак из NVIDIA и Лип-Бу Тан из Intel выступили один за другим. Оба неоднократно возвращались к одному и тому же компоненту. Последние три года разговор об ИИ-инфраструктуре в основном шёл вокруг GPU, но теперь представители компании, определившей бум GPU, и крупнейшего производителя CPU описывают один сдвиг: ИИ-агенты создают огромный новый спрос на универсальные вычисления.

По данным Goldman Sachs Research, по мере распространения агентного ИИ среди пользователей и компаний потребление токенов к 2030 году может вырасти в 24 раза.

Бак показал разницу на конкретном сравнении. Обычный ИИ-чат в 2023 году включал около 1 000 токенов и три обмена сообщениями: после каждого человек останавливался, чтобы прочитать ответ и напечатать следующий запрос. В показанной им агентной нагрузке средний запрос содержал 142 000 токенов и 65 последовательных шагов. Пока человек ждёт итог, агент продолжает работать самостоятельно.

Почему агентам нужен CPU

GPU хорошо справляется с огромным количеством параллельных математических операций. Поэтому он подходит для обучения моделей и генерации токенов.

CPU выполняет разнообразную работу вокруг модели: запускает защищённые песочницы, компилирует код, работает с Git, ищет файлы, извлекает контекст, вызывает инструменты, проверяет результаты и решает, что делать дальше. Каждый шаг может быть небольшим, но за одно задание агент способен выполнить десятки таких операций.

NVIDIA называет происходящее «новым моментом CPU в ИИ-фабрике». По объяснению компании, песочницы, вызовы инструментов, оркестрация и извлечение контекста из длинных данных создают дополнительную нагрузку на CPU.

Новый CPU NVIDIA Vera рассчитан именно на такие задачи. По результатам, которые представил Бак, Vera оказался в 1,6 раза быстрее более чем в 80 агентных задачах. В циклах компиляции и Git прирост достигал двух раз. Perplexity также сообщила, что защищённые песочницы для агентов запускались в 1,9 раза быстрее. Это особенно важно для коротких заданий: создание песочницы может занимать больше времени, чем работа внутри неё.

Intel видит тот же сдвиг

Intel передаёт тот же сигнал. Тан рассказал, что компания распределяет поставки CPU по кварталам и получает звонки от руководителей других компаний с просьбами увеличить объёмы. Он связал растущий спрос с обучением с подкреплением, оркестрацией агентов и изменением соотношения между CPU и GPU.

В начале года Тан описал более широкий переход: следующая волна ИИ должна приблизить интеллект к конечному пользователю — от базовых моделей через инференс к агентным системам. В первых квартальных результатах Intel сообщила, что этот переход заметно увеличил спрос на её CPU.

В ситуации есть противоречие. NVIDIA, сделавшая GPU массово известным, выпускает свой первый собственный CPU и предлагает отдельные системы на его основе. Intel, которую часто связывали с предыдущей эпохой вычислений, получила новый импульс благодаря развитию ИИ.

Новый CPU OpenAI

Чип Jalapeño от OpenAI добавляет к истории с CPU ещё один аспект. Это специализированный ускоритель инференса, или ASIC, созданный совместно с Broadcom. Его преимущество связано с тем, что OpenAI может тесно связать разработку оборудования со своими моделями, ядрами, компилятором, памятью, сетью и программным обеспечением для обслуживания запросов.

Компания контролирует все эти уровни, поэтому её инженеры видят, где именно модели замедляются, расходуют слишком много энергии или перемещают избыточный объём данных. Затем они могут проектировать чип с учётом этих особенностей.

OpenAI утверждает, что Jalapeño сможет запускать нынешние и будущие большие языковые модели разных разработчиков, поэтому чип не привязан к одной модели. Его дополнительное преимущество — единая связка заказчика, нагрузки и плана развития продукта: чип и модели OpenAI смогут развиваться вместе.

Новая экономика CPU

Деньги зависят от загрузки оборудования. NVIDIA считает, что главным показателем инфраструктуры постепенно становятся агентные токены на мегаватт. Быстрый GPU не создаёт ценности, если ждёт, пока CPU запустит инструмент, переместит данные или завершит этап оркестрации. В это время дорогостоящий ускоритель потребляет энергию, но не выполняет полезную работу.

Для руководителей это меняет пять вопросов:

GPU сохраняют критическое значение. Одновременно растёт использование «ИИ-мозгов», и это может привести к новым изменениям.

ИИ-фабрика производительна настолько, насколько производителен её самый медленный компонент. По мере того как агенты переходят от ответов на вопросы к выполнению задач, именно CPU может оказаться чипом, который поддерживает их работу.