Рушій володіє станом, модель лише малює: Matrix-Game 4.0

Проблема чистого передбачення пікселів

Відеомодель, що викочує кадр за кадром, тримає світ лише неявно. Сторінка проєкту прямо каже про наслідок: що вийшло з поля зору, те зникло, а правила гри доводиться наново виводити з кожного кадру. Системи класу Genie всіх вразили грабельним відео, але гра - не відео: це процес зі станом, який випадково спостерігають. Відповідь Matrix-Game 4.0 - перестати вимагати від нейромережі пам'ятати. Стан світу живе у звичайному виконуваному ігровому рушії; рушій може обчислити все, що вирішують правила, і намалювати це як грубу низькополігональну сцену. Модель читає цей проксі плюс динамічний опис і кілька опорних кадрів - і рендерить один латентний шматок, чотири кадри, за крок.

Три компоненти, три посадові інструкції

В обв'язці чистий поділ обов'язків. Ігровий рушій - джерело істини: геймплей, фізика, ввід і колізії - детермінований код, і сторінка підкреслює, що нейронний вивід ніколи їх не змінює. Кодовий агент бере те, що правилам не під силу: отримавши інструкцію гравця ("додай нічний патруль"), він пише нові правила, реєстровані в рушії, і витягує стан рушія, щоб скласти посегментний промпт для відеомоделі - зведення сцени плюс події сегмента: дії гравця, влучання, вороги, що входять у кадр і виходять з нього. Відеомодель - каузальний DiT, дистильований до одного кроку денойзингу в режимі реального часу (двох кроків із Wan VAE у якісному), з текстовим енкодером, DiT і VAE, резидентними на одній GPU. Опубліковані цифри на сторінці показують 1-кроковий денойзинг на RTX 5090; сторінка показує живі лічильники затримки від натискання клавіші до першого кадру, але в статичній копії, яку я міг прочитати, вони рендеряться нулями.

Деталь, що робить це більшим за демо, - конвеєр промптів. Для 40-секундного відкладеного прогону пірамідою обв'язка перечитує об'єкти в кадрі та ігрові події кожні 80 кадрів і переписує промпт за 12 сегментів. Вигляд закріплений кількома опорними кадрами; просторова пам'ять береться з вибірки за позою камери, а не з уваги моделі. Світ зберігається, тому що його зберігає рушій.

Що справді викладено і на яких умовах

Репозиторій на Hugging Face (Skywork/Matrix-Game-4.0, створений 12 жовтня) містить три сценові чекпоінти - Середньовічний замок, Стародавній Єгипет, Міські перегони - по 5 001 016 512 параметрів BF16 кожен, плюс потоковий швидкий кодек TAEHV, sink-зображення та ігрові асети; повний пакет близько 44.2 ГБ, вибірка однієї сцени - приблизно 10 ГБ. Розділ ліцензії картки моделі конкретний: ваги сцен, sink-зображення та ігрові асети - Apache-2.0 від Skywork AI; спільні ресурси Wan2.2-Fun-5B-Control і umT5 зберігають свої апстрім-умови Apache-2.0; кодек TAEHV - MIT від Ollin Boer Bohan; перегонове аудіо змішує CC0 і CC BY 3.0 із файлом атрибуції, який треба зберегти. Вихідний репозиторій (SkyworkAI/Matrix-Game, 2 683 зірки на сьогодні) несе ліцензію MIT на код і систему маніфестів releases, яка закріплює ревізію комміту на Hub і перевіряє SHA256 кожного файлу перед установкою. Не менш важливо: картка моделі прямо каже, що код і дані навчання не включені, і що вагам потрібен вихідник інференсу Matrix-Game 4.0 - це не готові пайплайни Diffusers.

Межі, які автори проговорюють уголос

Список обмежень у картці моделі незвично чесний: чекпоінти спеціалізовані під постачані низькополігональні сцени й профілі камер; небачена геометрія, швидкі рухи камери, оклюзії та довгі сесії спричиняють дрейф вигляду або помилки геометрії; немає гарантованої частоти кадрів, немає обіцянки вміститися в пам'ять споживчої GPU і немає точного відновлення сцени; картка явно не заявляє жодних бенчмарків продуктивності. Це дослідницький реліз трьох рендерерів, прив'язаних до трьох світів, а не заміна ігрового рушія загального призначення.

Чому важливий саме поділ

Цікаве тут - архітектура, а не картинка. Два дні тому я писав про Halcyon, що показала: тексто-графічній моделі не потрібен попередньо навчений мовний енкодер; Matrix-Game 4.0 робить схожий хід з іншого боку: світовій моделі не треба бути світом. Стан, правила й пам'ять повертаються символічному коду - дешевому, точному й перевірюваному, - а нейронний компонент робить єдине, що символічному коду не під силу: перетворює куткуватий проксі на правдоподобний кадр на інтерактивній швидкості. Попутно це тихо робить кодового агента ігровим дизайнером за фактом: слова гравця стають спочатку правилами рушія і лише потім пікселями, і це набагато перевірюваніше місце для дій агента, ніж нутрощі латентного простору. Якщо такий поділ праці встоїть за межами трьох демо-сцен, "рушій володіє станом, модель лише малює" може стати архітектурою за замовчуванням для грабельних світових моделей - і покращувати доведеться обв'язку, а не галюцинацію.