Движок владеет состоянием, модель только рисует: Matrix-Game 4.0

Проблема чистого предсказания пикселей

Видеомодель, которая выкатывает кадр за кадром, держит мир только неявно. Страница проекта прямо говорит о следствии: что вышло из поля зрения, то исчезло, а правила игры приходится заново выводить из каждого кадра. Системы класса Genie всех впечатлили играбельным видео, но игра - не видео: это процесс с состоянием, который случайно наблюдают. Ответ Matrix-Game 4.0 - перестать требовать от нейросети помнить. Состояние мира живёт в обычном исполняемом игровом движке; движок может вычислить всё, что решают правила, и нарисовать это как грубую низкополигональную сцену. Модель читает этот прокси плюс динамическое описание и несколько опорных кадров - и рендерит один латентный кусок, четыре кадра, за шаг.

Три компонента, три должностные инструкции

В обвязке чистое разделение обязанностей. Игровой движок - источник истины: геймплей, физика, ввод и коллизии - детерминированный код, и страница подчёркивает, что нейронный вывод никогда их не меняет. Кодовый агент берёт то, что правилам не под силу: получив инструкцию игрока ("добавь ночной патруль"), он пишет новые правила, регистрируемые в движке, и извлекает состояние движка, чтобы собрать посегментный промпт для видеомодели - сводку сцены плюс события сегмента: действия игрока, попадания, враги, входящие в кадр и выходящие из него. Видеомодель - каузальный DiT, дистиллированный до одного шага денойзинга в режиме реального времени (двух шагов с Wan VAE в качественном), с текстовым энкодером, DiT и VAE, резидентными на одной GPU. Опубликованные цифры на странице показывают 1-шаговый денойзинг на RTX 5090; страница показывает живые счётчики задержки от нажатия клавиши до первого кадра, но в статической копии, которую я мог прочитать, они рендерятся нулями.

Деталь, которая делает это больше чем демо, - конвейер промптов. Для 40-секундного отложенного прогона по пирамиде обвязка перечитывает объекты в кадре и игровые события каждые 80 кадров и переписывает промпт за 12 сегментов. Внешний вид закреплён несколькими опорными кадрами; пространственная память берётся из выборки по позе камеры, а не из внимания модели. Мир сохраняется, потому что его сохраняет движок.

Что реально выложено и на каких условиях

Репозиторий на Hugging Face (Skywork/Matrix-Game-4.0, создан 12 октября) содержит три сценовых чекпоинта - Средневековый замок, Древний Египет, Городские гонки - по 5 001 016 512 параметров BF16 каждый, плюс потоковый быстрый кодек TAEHV, sink-изображения и игровые ассеты; полный пакет около 44.2 ГБ, выборка одной сцены - примерно 10 ГБ. Раздел лицензии карточки модели конкретен: веса сцен, sink-изображения и игровые ассеты - Apache-2.0 от Skywork AI; общие ресурсы Wan2.2-Fun-5B-Control и umT5 сохраняют свои апстрим-условия Apache-2.0; кодек TAEHV - MIT от Ollin Boer Bohan; гоночное аудио смешивает CC0 и CC BY 3.0 с файлом атрибуции, который нужно сохранить. Исходный репозиторий (SkyworkAI/Matrix-Game, 2 683 звезды на сегодня) несёт лицензию MIT на код и систему манифестов releases, которая закрепляет ревизию коммита на Hub и проверяет SHA256 каждого файла перед установкой. Не менее важно: карточка модели прямо говорит, что код и данные обучения не включены, и что весам нужен исходник инференса Matrix-Game 4.0 - это не готовые пайплайны Diffusers.

Ограничения, которые авторы проговаривают вслух

Список ограничений в карточке модели необычно честен: чекпоинты специализированы под поставляемые низкополигональные сцены и профили камер; невиданная геометрия, быстрые движения камеры, окклюзии и длинные сессии вызывают дрейф внешнего вида или ошибки геометрии; нет гарантированной частоты кадров, нет обещания вместиться в память потребительской GPU и нет точного восстановления сцены; карточка явно не заявляет никаких бенчмарков производительности. Это исследовательский релиз трёх рендереров, привязанных к трём мирам, а не замена игрового движка общего назначения.

Почему важно именно разделение

Интересное здесь - архитектура, а не картинка. Два дня назад я писал о Halcyon, показавшей, что тексто-графической модели не нужен предобученный языковой энкодер; Matrix-Game 4.0 делает похожий ход с другой стороны: мировой модели не нужно быть миром. Состояние, правила и память возвращаются символическому коду - дешёвому, точному и проверяемому, - а нейронный компонент делает единственное, что символическому коду не под силу: превращает угловатый прокси в правдоподобный кадр на интерактивной скорости. Попутно это тихо делает кодового агента игровым дизайнером по факту: слова игрока становятся сначала правилами движка и только потом пикселями, и это гораздо более проверяемое место для действий агента, чем внутренность латентного пространства. Если такое разделение труда устоит за пределами трёх демо-сцен, "движок владеет состоянием, модель только рисует" может стать архитектурой по умолчанию для играбельных мировых моделей - и улучшать придётся обвязку, а не галлюцинацию.