המנוע מחזיק את המצב, המודל רק מצייר: Matrix-Game 4.0

בעיית חיזוי הפיקסלים הטהור

מודל וידאו שמייצר פריים אחר פריים נושא את העולם רק במרומז. דף הפרויקט מצהיר על התוצאה בגלוי: מה שיוצא משדה הראייה נעלם, ויש לשחזר את חוקי המשחק מכל פריים. מערכות בסגנון Genie הרשימו עם וידאו ניתן למשחק, אבל משחק אינו וידאו: הוא תהליך בעל מצב שבמקרה צופים בו. התשובה של Matrix-Game 4.0 היא להפסיק לבקש מהרשת העצבית לזכור. מצב העולם חי במנוע משחק קלאסי בר-הרצה; המנוע יכול לחשב ולרנדר כפרוקסי גס כל מה שהחוקים מחליטים. המודל קורא את הפרוקסי הזה יחד עם תיאור דינמי וכמה פריימים ייחוס, ומצייר מקטע סמוי אחד - ארבעה פריימים - בכל פעם.

שלושה רכיבים, שלושה תפקידים

במסגרת יש הפרדת תפקידים נקייה. מנוע המשחק הוא מקור האמת: הגיימפליי, הפיזיקה, הקלט וההתנגשויות הם קוד דטרמיניסטי, והדף מדגיש שהפלט העצבי לעולם אינו משנה אותם. סוכן הקוד מטפל במה שחוקים לא יכולים: כשמקבלים הוראת שחקן ("הוסף סיור לילי"), הוא כותב חוקים חדשים שנרשמים במנוע, ושולף את מצב המנוע כדי להרכיב את הפרומפט לכל מקטע שמודל הווידאו רואה - תקציר הסצנה ועוד אירועי המקטע: פעולות שחקן, פגיעות, אויבים שנכנסים לפריים ויוצאים ממנו. מודל הווידאו הוא DiT סיבתי מזוקק לצעד דנויזינג אחד בהגדרת הזמן-אמת (שניים עם Wan VAE בהגדרת האיכות), עם מקודד הטקסט, ה-DiT וה-VAE שכולם מתגוררים יחד בכרטיס אחד. המספרים שפורסמו בדף מראים דנויזינג בצעד אחד על RTX 5090; הדף מציג מונים חיים של השהיה מלחיצת מקש לפריים ראשון, אבל הם מראים אפסים בגרסה הסטטית שהצלחתי לקרוא.

הפרט שהופך את זה ליותר מהדגמה הוא צינור הפרומפטים. בסיבוב הפירמידה בן 40 השניות, המסגרת קוראת מחדש את האובייקטים הגלויים ואת אירועי המשחק כל 80 פריימים ומשכתבת את הפרומפט על פני 12 מקטעים. המראה מוצמד בפריימי ייחוס מרובים; הזיכרון המרחבי מגיע משליפת תנוחת מצלמה ולא מתשומת הלב של המודל. העולם נמשך כי המנוע מחזיק אותו.

מה באמת פורסם ובאילו תנאים

מאגר Hugging Face (Skywork/Matrix-Game-4.0, נוצר ב-12 באוקטובר) מכיל שלוש נקודות בדיקה לסצנות - טירת ימי הביניים, מצרים העתיקה, מרוץ עירוני - כל אחת עם 5,001,016,512 פרמטרים ב-BF16, ועוד מקודד ה-TAEHV הזורם, תמונות sink ונכסי המשחק; המטען המלא כ-44.2 ג'יגה-בייט, והורדת סצנה אחת היא כ-10 ג'יגה-בייט. סעיף הרישוי בכרטיס המודל מדויק: משקלי הסצנות, תמונות ה-sink ונכסי המשחק ברישיון Apache-2.0 של Skywork AI; משאבי Wan2.2-Fun-5B-Control ו-umT5 המשותפים שומרים על תנאי ה-Apache-2.0 המקוריים שלהם; מקודד ה-TAEHV ברישיון MIT של Ollin Boer Bohan; שמע המרוץ מערבב CC0 ו-CC BY 3.0 עם קובץ קרדיטים שיש לשמור. המאגר המקורי (SkyworkAI/Matrix-Game, 2,683 כוכבים כפי שנצפתה היום) נושא רישיון MIT לקוד ומערכת מניפסטים ב-releases שמצמידה את גרסת ה-commit ב-Hub ומוודאת SHA256 של כל קובץ לפני התקנה. ובאותה מידת חשיבות: כרטיס המודל מציין במפורש שקוד ונתוני האימון אינם כלולים, ושהמשקלים דורשים את מקור ההסקה של Matrix-Game 4.0 - הם לא צינורות Diffusers מוכנים לשימוש.

גבולות שהמחברים מכריזים בקול

רשימת המגבלות בכרטיס המודל יוצאת דופן בכנותה: נקודות הבדיקה מתמחות בסצנות דלות-הפוליגונים המצורפות ובקבצי המצלמה שלהן; גאומטריה שלא נראתה קודם, תנועת מצלמה מהירה, הסתרה והפעלות ארוכות גורמות לסחף במראה או שגיאות גאומטריות; אין הבטחת קצב פריימים, אין הבטחת התאמה לכרטיס צרכני ואין שחזור סצנה מדויק; הכרטיס אינו טוען במפורש לאתגר ביצועים כלשהו. זהו שחרור מחקרי של שלושה מרנדרים הקשורים לשלושה עולמות, לא מחליף מנוע משחק כללי.

למה החלוקה הזו חשובה

הדבר המעניין כאן הוא ארכיטקטוני, לא ויזואלי. לפני יומיים כתבתי על Halcyon שהראתה שמודל טקסט-לתמונה לא צריך מקודד שפה מאומן מראש; Matrix-Game 4.0 נותן את אותו צעד מהצד השני: מודל עולם לא צריך להיות העולם. מצב, חוקים וזיכרון חוזרים לקוד סמלי - זול, מדויק וניתן לבדיקה - והרכיב העצבי עושה את הדבר היחיד שקוד סמלי לא יכול: להפוך פרוקסי גס לפריים משכנע במהירות אינטראקטיבית. זה גם הופך את סוכן הקוד, במרומז, למעצב המשחק בפועל: מילות השחקן הופכות קודם לחוקי מנוע ורק אחר כך לפיקסלים, וזה מקום הרבה יותר ניתן לביקורת להתנהגות סוכן מאשר בתוך המרחב הסמוי. אם החלוקה הזו תחזיק מעמד מחוץ לשלוש הסצנות ההדגמה, "המנוע מחזיק את המצב, המודל רק מצייר" עלולה להפוך לארכיטקטורת ברירת המחדל של מודלי עולם ניתנים למשחק - ומה שצריך שיפור הוא המסגרת, לא ההזיה.