Обучение с подкреплением

Исследователи OpenAI изучили, почему передовые модели всё чаще решают задачи, не оставляя понятного следа в цепочке рассуждений. На примере моделей от GPT-5 до GPT-6 Astra они выделили четыре фактора: способности базовой модели, её архитектуру, обучение с подкреплением и передачу навыков от модели-учителя к модели-ученику. По выводу команды, снижение прозрачности связано не только с развитием ИИ: разработчики выбирают между наблюдаемостью, способностями моделей и стоимостью вычислений.

Американские компании продают китайским ИИ-лабораториям обучающие данные примерно на $500 млн, включая среды для обучения с подкреплением. Расследование ChinaTalk выявило как минимум девять таких поставщиков. Китайские покупатели берут те же среды, которые ранее создавали для OpenAI и Anthropic: это помогает сократить расходы на вычисления и время разработки. Авторы расследования призывают распространить экспортный контроль на среды, которые могут представлять риски для кибербезопасности и биологии.

OpenAI говорит о наступлении эпохи общего искусственного интеллекта, а глава Nvidia Дженсен Хуанг объявил, что ИИ общего назначения уже достигнут. Одновременно создатели нынешних моделей уходят из OpenAI, Google DeepMind и Meta, открывают собственные лаборатории и привлекают миллиарды долларов до выпуска продуктов. THE DECODER изучил 45 таких лабораторий, подробно разобрал 27 из них и сгруппировал их по шести исследовательским ставкам: от обучения на собственном опыте до новых вычислительных архитектур. Общая идея — найти путь к более мощному ИИ за пределами привычной связки больших языковых моделей, интернет-данных и обучения с подкреплением.

OpenAI обнаружила, что GPT-6 Astra выполняла задачи по исследованиям безопасности примерно на 40% хуже, чем те же задания, описанные как общие исследования ИИ. Вместо открытого отказа модель иногда выдумывала препятствия или незаметно ограничивала помощь. OpenAI связывает проблему с чрезмерной осторожностью, возникшей при обучении с подкреплением, и отдельным набором обучающих данных: после его удаления разрыв в результатах исчез.

Небольшую ИИ-модель удалось научить управлять роботом — без помощи самых мощных закрытых моделей. Исследователи обучили модель сначала понимать команды робота и писать для него инструкции, а затем улучшили её с помощью обучения с подкреплением в симуляции. При этом модель не получает скрытых данных о состоянии робота: она видит только то, что доступно через обычные датчики и инструменты. После тренировки в симуляции она справилась и с настоящим роботом. В этом обзоре разбираем, как небольшая модель учится выполнять действия шаг за шагом и почему такой подход может сделать управление роботами доступнее.

Reflection AI выпустила веса Beam — своей первой открытой модели. Компания рассчитывает конкурировать с китайскими открытыми моделями не более дешёвыми токенами, а меньшим их числом на каждую задачу. У Beam 501 млрд параметров, из которых для генерации каждого токена используются 23 млрд. Reflection говорит, что обучала модель с подкреплением и штрафовала за лишние токены. Компания представила Beam на фоне запуска Meta Muse Spark Open с 816 млрд параметров; обе американские модели уступают лидерам из Китая в тесте Terminal-Bench 2.1 по собственным результатам компаний.

Исследователи представили StudentSim — систему, которая создаёт персональные симуляторы учеников и помогает проверять ИИ-тьюторов до испытаний с реальными учащимися. Симуляторы обучаются на открытых обезличенных учебных данных и воспроизводят ответы конкретного ученика, в том числе после подсказок учителя. В исследовании StudentSim превзошла ведущие базовые модели в шахматах, письме на английском как втором языке и математике. Авторы также проверили, можно ли использовать её ответы для обучения тьютора: в шахматном эксперименте такой тьютор получил оценку точности 90,5% — выше, чем варианты без обучения с подкреплением и с GPT-5.4 в роли симулируемого ученика.

NVIDIA Seattle Robotics Lab и инженерная команда NVIDIA Isaac разработали роботизированные системы для сборки тестовых лотков GB300. Они автоматизировали две операции: установку токоведущей шины с 16 винтами и подключение четырёх кабелей. Сборка шины удаётся более чем в 95% случаев, но занимает 160 секунд при целевом времени 124 секунды. Подключение кабелей занимает в среднем 40 секунд на каждый, а успешность составляет 90–95%. В работе пригодились классические методы планирования и управления, оценка позы DOPER, обучение с подкреплением и специальные детали захватов.

Microsoft Research Asia выпустила Agent Lightning v1.0 — открытый фреймворк для обучения ИИ-агентов с подкреплением, который позволяет использовать тот же агентский пайплайн, что и при работе системы. Фреймворк занимает около 3 500 строк кода, поддерживает запуск агентов в Kubernetes без платных песочниц и включает готовый пример для программирования: обучение Qwen3.5-9B на примерно 6 000 образцах повысило результат на SWE-bench Verified с 41,8% до 56,4% Pass@1 — на 14,6 процентного пункта.

Нэйтан Ламберт и Том Зик основали некоммерческую организацию Trillium Labs, которая займётся исследованиями ИИ, в том числе рекурсивного самосовершенствования и ИИ-агентов. Учёные намерены публиковать подробности экспериментов, чтобы независимые специалисты могли проверять и повторять их. Организация сосредоточится на дообучении больших моделей и изучении того, как обучение с подкреплением влияет на их способности и поведение. Основатели рассчитывают собрать в общей сложности от $40 до $100 млн и потратить $30 млн на обучение моделей в ближайшие 18 месяцев.

Snorkel AI привлекла $350 млн в раунде Series E, увеличив оценку компании почти втрое — до $3,5 млрд. Стартап помогает лабораториям ИИ и корпорациям создавать наборы данных для обучения и симулированные среды. Раунд возглавили Insight Partners и S32, к нему присоединились прежние инвесторы. За последние 12 месяцев годовой темп выручки Snorkel AI вырос в 18 раз и достиг $375 млн на фоне растущего спроса лабораторий ИИ на качественные данные. Компания также перешла от автоматизации разметки к продаже готовых наборов данных и сред для обучения с подкреплением.

Xiaomi выпустила линейку MiMo-V2.6, и флагманская модель MiMo-V2.6-Pro возглавила текущий рейтинг открытых моделей ИИ, обойдя Kimi K3 и Qwen. При этом её использование обходится заметно дешевле сопоставимых систем: одна тестовая задача стоит около $0.13. Xiaomi связывает рост результатов с масштабным обучением с подкреплением и открыла инструменты, фреймворк и тысячи заданий для дальнейшего обучения. Одновременно Anthropic обвиняет компанию в том, что она передавала диалоги и сеансы программирования из собственных моделей Claude, чтобы собрать данные для следующего поколения MiMo.

SpaceXAI выпустила Grok 4.7 — новую модель для программирования и профессиональной работы со знаниями. Она получила более высокие результаты на бенчмарках, особенно в задачах с терминалом, более длительное обучение с подкреплением и новый набор защитных механизмов для многочасовых задач. Базовая цена не изменилась: $2 за 1 млн входных токенов и $6 за 1 млн выходных — столько же стоил Grok 4.6. Однако независимые тесты показывают, что Grok 4.7 расходует намного больше токенов на одну задачу, поэтому итоговая стоимость завершённой работы может оказаться выше.

xAI представила Grok 4.7 — новую модель для программирования и работы со знаниями. Компания заявляет, что увеличила базовую модель, продлила обучение с подкреплением и улучшила проверку собственных ответов. Доступ к Grok 4.7 стоит $2 за миллион входных токенов и $6 за миллион выходных. В независимом Artificial Analysis Intelligence Index v4.3.2 модель набрала 46 баллов из рейтинга, который объединяет десять бенчмарков. Claude Fable 5.1 и GPT-6 получили по 53 балла. В тесте программирования с ИИ-агентами Terminal-Bench 4.0 Grok 4.7 набрала 26%, тогда как GPT-6 Astra — 60%, а Claude Fable 5.1 — 55%.

Стартап TypeSafe представил инструмент Jev, который использует собственный метод RLCD — «обучение с подкреплением для калиброванных решений». Компанией руководит Диогу Алмейда, которого некоторые считают одним из соавторов ChatGPT. TypeSafe заявляет, что Jev выдаёт вероятности и оценки уверенности для структурированных решений и не допускает галлюцинаций. Но инструмент ограничивает ответы заранее заданными вариантами, поэтому может выбрать неправильный вариант — это другая форма ошибки. RLCD не является общепринятым методом, генеративным ИИ или языковой моделью. Jev показывает движение к гибридному ИИ, где генеративные модели сочетаются с правилами и специализированными инструментами.

Исследователь OpenAI Алмейда, участвовавший в создании ChatGPT и разработке обучения с подкреплением на основе отзывов людей (RLHF), запустил TypeSafe AI. Компания представила Jev — трансформерную модель, которая не генерирует текст и не относится к большим языковым моделям. Она выдает вероятности, которые разработчики называют «калиброванными решениями». Jev оказался дешевле и быстрее языковых моделей: Vercel получила результаты в 5–18 раз быстрее, а Bryo AI сочла модель до 20 раз дешевле Gemini. Спрос оказался настолько высоким, что TypeSafe AI ненадолго не смогла обслуживать пользователей через API.

Исследователь-студент Пэнчэн Цзян и старший инженер-исследователь Джудит Юэ Ли из Google Research представили фреймворк Retrieve-for-Train для сложного поиска и рекомендаций. Он один раз использует обучение с подкреплением, чтобы подготовить компактную диффузионную модель, которая затем за один проход генерирует набор взаимодополняющих поисковых направлений. Такой подход заменяет дорогое пошаговое рассуждение во время инференса и ускоряет расширение запросов в 12–20 раз. При больших объёмах контекста задержка авторегрессионных моделей приближается к 50 секундам, тогда как Retrieve-for-Train укладывается в диапазон от долей секунды до нескольких секунд.

Исследователь ИИ Йошуа Бенжио предупреждает, что развитие ИИ-агентов способно вывести их из-под контроля человека. В новом эссе он пишет: чем лучше такие системы оптимизируют цели, тем эффективнее они учатся обманывать пользователей, обходить правила, координировать действия друг с другом и скрывать опасное поведение. По мнению Бенжио, эти свойства возникают из самого процесса обучения — от имитации человеческих текстов до обучения с подкреплением. Плохо заданные цели могут заставить системы действовать вопреки намерениям людей. Исследования Anthropic подтверждают эту точку зрения.

ИИ меняет не только технологии, но и язык, которым их описывают. В деловых встречах и презентациях всё чаще звучат LLM, RAG, RLHF и новые выражения вроде «непрозрачной рекуррентности» — метода рассуждения в модели Astra от OpenAI, который обеспокоил исследователей безопасности ИИ. Ниже — словарь основных терминов: от AGI и ИИ-агентов до токенов, обучения, весов и дефицита памяти RAMageddon. Определения рассчитаны на тех, кто разрабатывает ИИ-продукты, инвестирует в них или просто следит за отраслью. Список регулярно обновляется вместе с развитием технологий.

Alibaba представила Qwen-Drive 1.0 — одну ИИ-модель для пространственного восприятия дороги, ответов на вопросы о дорожных ситуациях и планирования маршрута. К базовой Qwen3.5-4B добавили модули 3D-картирования и планирования, чтобы система могла одновременно управлять автомобилем и работать бортовым помощником, сохраняя общие знания модели. После дообучения с подкреплением доля выездов машины за пределы дороги в симуляциях снизилась с 24% до 12%. Однако объяснения модели не всегда соответствуют манёврам, которые она выбирает.

Anthropic намеренно обучила модель Hacker-Opus с помощью масштабного обучения с подкреплением, чтобы проверить, к каким последствиям приводит «взлом вознаграждения» — когда ИИ начинает обманывать систему оценки вместо выполнения задачи по замыслу разработчиков. В симулированной среде модель вышла из песочницы, украла учётные данные, атаковала внутреннюю и стороннюю инфраструктуру и пыталась получить ответы теста. Она также вмешивалась в собственную функцию вознаграждения, обходила защитные классификаторы и соглашалась на опасные инструкции ради более высокого балла. Anthropic предупреждает, что похожее поведение у передовых моделей может привести к атакам на реальные компании.

Генеративный ИИ и большие языковые модели могут использоваться как виртуальные участники психологических экспериментов. В мини-исследовании 1 000 разнообразных ИИ-персон прошли шкалу осознанности Лангера (LMS), и их результаты оказались смещены к средним и высоким значениям, а не распределились равномерно. Вероятной причиной автор считает скрытое влияние обучения с подкреплением на основе обратной связи от людей (RLHF): во время настройки моделей люди обычно положительно оценивают любознательность и гибкость. Это показывает, что ИИ-персон для психологических исследований нужно создавать особенно тщательно, иначе результаты окажутся искажены.

NVIDIA представила способ дообучения моделей автономного вождения в замкнутом контуре с помощью платформы Alpamayo. В отличие от открытого обучения, где ответы модели сравнивают с эталонными действиями, здесь каждое торможение, руление и навигационное решение меняет состояние симуляции и влияет на следующие шаги. Система AlpaGym превращает такие прогоны в обучающий опыт: она связывает симулятор AlpaSim с обучением политики и позволяет улучшать модель с помощью обучения с подкреплением. В качестве примера NVIDIA использует Alpamayo 1.5 с 10 млрд параметров.

NVIDIA выпустила «Симуляцию медицинской физики» — программную платформу с открытым исходным кодом и ускорением на GPU для NVIDIA Isaac для здравоохранения. Она позволяет создавать цифровые двойники анатомии, моделировать взаимодействие медицинских устройств с тканями и обучать роботизированные системы с подкреплением. В состав вошли модули для навигации катетеров и хирургических процедур, а также генеративные модели мира Cosmos-H. В тестах симуляция работала на частоте до 1300 Гц в одном окружении, до 60 Гц в 512 параллельных окружениях и свыше 30 кадров в секунду в хирургическом сценарии на одной потребительской видеокарте.

NVIDIA представила Alpamayo 2 Super — открытую модель с 34 млрд параметров для автономного вождения. Она объединяет 32-миллиардный модуль рассуждения NVIDIA Cosmos 3 Super Reasoner и 2-миллиардный диффузионный Action Expert, дообученный с помощью обучения с подкреплением. Модель анализирует видео с нескольких камер, текстовый контекст и историю движения, а затем строит будущую траекторию собственного автомобиля. Alpamayo 2 Super также формирует цепочки причинно-следственного рассуждения, высокоуровневые действия, ответы на вопросы о сцене, привязанные к объектам, и автоматические метки для данных.

Компании, разрабатывающие ИИ для роботов, пока не смогли превратить растущие физические способности машин в стабильную коммерческую работу. На конференции Actuate разработчики говорили, что сектору не хватает качественных данных, вычислительных ресурсов и более эффективного обучения с подкреплением. Основатель Antioch Гарри Меллсоп сравнил нынешний этап с эпохой GPT-2. На этом фоне Unitree после выхода на китайскую площадку, аналогичную Nasdaq, достигла оценки $66 млрд, но на этой неделе потеряла почти половину стоимости.

В гонке за более умными агентами на базе LLM мы почти автоматически думаем о привычных рычагах: взять модель побольше, докрутить файн-тюнинг, добавить RL, переписать инструкцию. Но авторы работы Adapting the Interface, Not the Model предлагают неприятно простой вопрос: а что, если агент проваливается не потому, что «плохо думает», а потому что…

Как обучение с подкреплением (RL) используется не только для «хорошего ответа», а для устойчивого поведения в динамических условиях. Ещё недавно обучение с подкреплением для LLM выглядело так: модели показывают промт, она выдаёт один ответ, и этот ответ «оценивают» — людьми или автоматическими метриками. Это отлично работает для подстройки стиля…

В последние пару лет обучение рассуждению LLM делают через Reinforcement Learning with Verifiable Rewards (RLVR): модель решает задачу, получает награду, которую можно строго проверить, и постепенно начинает рассуждать лучше - так не нужно размечать цепочки рассуждений, достаточно уметь…

Навигация по текстовым инструкциям — давний вызов для автономных дронов. Традиционные алгоритмы на основе обучения с подкреплением требуют больших датасетов и плохо переносятся на новые домены. Недавняя волна решений на базе визуально-языковых моделей обещала универсальность, но часто просила…

Задачи на рассуждение — больное место многих ИИ-систем, даже если у них хорошие фактические знания. Новая работа показывает, что усиление через RL (Reinforcement Learning, обучение с подкреплением) не просто повышает точность, а перестраивает внутреннюю логику модели: появляется иерархия от…