Runway хочет превратить генерацию видео с ИИ в управляемую трансляцию в реальном времени

Современные видеомодели работают поэтапно: пользователь вводит промт, ждёт несколько секунд или минут и получает готовый ролик. Если результат не подходит, генерацию приходится начинать заново. По словам Runway, пользователи больше всего времени тратят именно на создание и исправление видео. Компания хочет сначала минимизировать задержку до первого кадра, а затем передавать видео в потоковом режиме по мере изменения промта.

Впервые Runway рассказала о таком подходе в марте, представив Runway Characters. В основе системы лежит GWM-1 — первая «универсальная модель мира» компании, которую представили в декабре 2025 года. GWM-1 развивает возможности Gen-4.5, создаёт видео кадр за кадром и принимает в качестве управляющих сигналов движения камеры, команды роботу и звук. Несколько недель назад Runway также показала Solaris — систему на базе Gen-4.5, которая кадр за кадром генерирует пользовательские интерфейсы и реагирует на нажатия и голосовой ввод.

Меньше ожидания и затрат на GPU

Runway считает, что генерация в реальном времени сократит разрыв между идеей и её воплощением. При мгновенной обратной связи пользователь будет тратить большую часть времени на управление видео, а не на ожидание результата.

Компания также указывает на снижение затрат. Быстрые модели используют меньше времени GPU и поэтому обходятся дешевле. Как отмечает Runway, экономическую целесообразность приложения определяет стоимость одного результата при заданном уровне качества. Мгновенная генерация снизит этот порог и сделает рентабельными приложения, которые раньше не окупались.

Как модель исправляет ошибки

Текстовая модель может исправить себя в середине предложения. Видеомодель строит каждый кадр на основе предыдущего, поэтому небольшие ошибки со временем способны накапливаться и превращаться в сильные искажения. Runway называет это главной проблемой подходов на базе больших языковых моделей. Компания решает её, обучая модель не только на безошибочных данных, но и на собственных результатах. Так модель учится исправлять отклонения, а не усиливать их.

Схожий подход использовал стартап Decart в своей модели реального времени MirageLSD: во время обучения её намеренно знакомили с испорченными и искажёнными изображениями. Google DeepMind утверждает, что её модель мира Genie 3 сохраняет согласованность интерактивных миров в течение нескольких минут при частоте 24 кадра в секунду и разрешении 720p.

В отличие от языковых моделей, видеомодели не могут исправить более раннюю ошибку, поскольку каждый новый кадр строится на основе ошибочного кадра

Источник: the-decoder.com

По словам Runway, генерация в реальном времени переносит вычислительную нагрузку с этапа обучения на этап использования. Модель должна создавать каждый кадр достаточно быстро, чтобы не отставать от воспроизведения, и при этом работать на оборудовании, которое одновременно обслуживает несколько сессий.

Модели мира для роботов и роботакси

Runway считает интерактивные приложения главным долгосрочным направлением для медиа, созданных ИИ. По мнению компании, образованию, играм и робототехнике нужно видео, которое реагирует с той же скоростью, с какой его воспринимает человек. Для оценки поведения роботов и автономных автомобилей также требуются среды, способные генерироваться в реальном времени и мгновенно отвечать на редкие кейсы. Ранее Runway представила GWM Robotics — вариант GWM-1, который создаёт синтетические данные для обучения роботов.

Похожий подход использует Waymo модель мира. Эта система основана на Genie 3 и адаптирована для дорожного движения. Она позволяет Waymo моделировать ситуации, которых автопарк компании ещё не встречал: например, появление слона, торнадо или затопленного жилого района. По данным Waymo, Waymo Driver проезжает миллиарды виртуальных миль, прежде чем сталкивается с подобными сценариями на настоящих дорогах.

В марте Runway также показала исследовательскую версию модели реального времени, разработанную вместе с Nvidia на конференции производителя чипов GTC. Она работает на платформе Vera Rubin и рассчитана на выдачу первого кадра менее чем за 100 миллисекунд. Срок доступности модели Runway пока не объявила.