15 октября 2026 года компания представила Matrix-Game 4.0 — первую в мире игру с видеобольшой моделью, которая работает на одной потребительской видеокарте. Проект открывает новую эпоху в игровой индустрии: игровой движок поддерживает состояние мира и правила взаимодействия, а видеогенеративная модель в реальном времени отображает детализированное изображение.
Matrix-Game 4.0 решает ряд проблем, характерных для существующих моделей интерактивных миров:
* отсутствие независимого механизма поддержания состояния мира — в Matrix-Game 4.0 миру даётся явный, поддерживаемый носитель, а не внутренняя репрезентация модели;
* нестабильность согласованности при длительном взаимодействии — система минимизирует локальные отклонения и смещения в структуре сцены;
* визуальная правдоподобность взаимодействия не гарантирует надёжности игровых правил — в игре используются точные числовые расчёты (изменение здоровья, принадлежность предметов, прогресс в заданиях и т. д.).
Характеристики игры:
* разрешение — 480p, частота кадров — 60 FPS на NVIDIA RTX 5090;
* задержка от нажатия клавиши до реакции изображения — менее 150 мс;
* скорость стабильного генерации с одношаговым шумоподавлением — 83 FPS;
* пиковое потребление видеопамяти — 18,5 GiB.
В основе Matrix-Game 4.0 лежат четыре ключевых компонента:
1. Однокарточная реализация в реальном времени — возможность запускать видеомодель для игр на потребительской видеокарте.
2. Новая парадигма взаимодействия видеомодели и мира: Coding Agent создаёт лёгкие игры, движок поддерживает состояние мира и правила, видеомодель преобразует простые геометрические формы в детализированное изображение.
3. Единая технологическая цепочка — от сбора данных (структурное и детализированное изображение, динамическая семантическая разметка) до обучения видеомодели, малошагового авторегрессионного дистилляционного обучения и реального вывода.
4. Открытый исходный код — проект доступен для исследователей, разработчиков и создателей контента. Адрес в Huggingface:
Система Matrix-Game 4.0 состоит из трёх модулей:
* Движок фиксирует происходящее в мире и определяет результаты действий игрока. Он использует упрощённые геометрические модели и структуру сцены для описания дорог, зданий, персонажей и интерактивных объектов. Все состояния и правила (здоровье, рюкзак, гравитация, столкновения, прогресс в заданиях) чётко поддерживаются и выполняются кодом.
* Программируемый агент преобразует креатив игрока в работающий игровой процесс. Игрок может формулировать запросы на естественном языке (изменение рельефа, размещение объектов, модификация поведения NPC, разработка новых игровых механик), а агент реализует их в виде конфигурации сцены и игрового кода. Также агент помогает определять семантику и визуальный стиль сцены.
* Видеомодель преобразует структурированное изображение в детальный визуальный опыт: генерирует текстуры, освещение, атмосферу и детали внешнего вида, сохраняя ограничения по структуре сцены и движению. Она основана на Wan2.2 5B и модифицирована для режима видео в видео (V2V): структурный кадр и видео для генерации объединяются по каналам (148 каналов ввода), передаются prompt событий сцены, опорный снимок пространственной памяти и первый кадр.
Рабочий процесс выглядит так: действие игрока → обновление состояния мира движком → вывод структурного кадра и условий управления → рендеринг видеомоделью в реальном времени → отображение игроку.
Для создания «игрового мира» объединены данные, обучение и выполнение на трёх уровнях. Разработан набор данных для выравнивания структурных и детализированных кадров на базе Unreal Engine 5 (UE5). Он охватывает разные локации: большой город (CitySample), открытую пустыню, сложный замок, высокодинамичный воздушный бой.
В проекте используется облегчённый конвейер геометрического абстрагирования: сложные сцены преобразуются в низкополигональные структурные представления с сохранением топологии пространства, положений твёрдых тел и динамических траекторий, с попиксельным выравниванием с высокодетализированными кадрами. Параллельно фиксируются ID объектов, их видимость и причинно-следственные взаимодействия для построения семантических динамических метаданных.
Matrix-Game 4.0 внедряет динамический Caption: он связывает ID и семантические описания объектов, получает от движка текущие видимые объекты и их состояние в реальном времени и подставляет их в шаблон подсказки. Структурный кадр даёт информацию о положении, компоновке и движении, а Caption дополняет сведениями о том, какие объекты и в каком состоянии присутствуют на кадре.
Для оптимизации работы под 60 FPS на потребительских видеокартах используются:
* CUDA Graph для предварительной записи и однократного воспроизведения вычислений DiT;
* специализированные GPU-ядра для RoPE, нормализации и квантования FP8;
* совместное использование ввода для квантования Q, K, V на одном уровне;
* пересчёт KV для текстовых условий только при обновлении Caption;
* кольцевой буфер для истории KV видео;
* параллельные вычисления самовнимания по окну KV;
* облегчённый TAEHV для кодирования/декодирования.
Конечный результат: кодировщик текста, DiT и VAE могут постоянно размещаться на одной карте RTX 5090.
Ключевая особенность Matrix-Game 4.0 — лёгкость модификации игры. С помощью Coding Agent игроки могут настраивать игры на основе существующего кода с помощью естественного языка: менять рельеф, размещать объекты, изменять поведение и логику взаимодействия NPC, создавать новые игровые механики.
Сравнение с другими решениями:
* Задержка: Matrix-Game 4.0 — 112 мс (в 90 раз меньше, чем у Code World Model, в 5 раз меньше, чем у AgentGarten, в 8 раз меньше, чем у StreamRender-H3).
* Требования к вычислительным мощностям: для других решений нужны 1× H200 141GB, 8× GB200 или 1× H100; Matrix-Game 4.0 работает на 1× RTX 5090 (32GB видеопамяти).
* Степень открытости: Code World Model и StreamRender-H3 — открыты, AgentGarten — частично открыт, Matrix-Game 4.0 — полностью открыт (код, веса, белая модель).
В будущем команда планирует улучшать модель: внедрить refiner для повышения разрешения изображения, исследовать многопользовательский опыт с согласованным видом для игроков, предоставить более детальный контроль над изображением, расширить поддержку разных типов игр и сценариев.
<<<CODE_BLOCK_N>>>
<<<IMG_N>>>
Подписаться в Макс
