Muse Spark Open: מודל הקוד הפתוח של מטא עם 816 מיליארד פרמטרים נכנס בשני Mac Studio, בתנאים

עובדות נבדקו ב-16 באוקטובר 2026

ב-15 באוקטובר מטא פרסמה את המשקלים של Muse Spark Open: ‏816 מיליארד פרמטרים בסך הכול, 42 מיליארד פעילים לכל טוקן, חלון הקשר של מיליון טוקנים וקלט מולטי-מודאלי. מטא אומרת שהוא רץ על שני Apple M5 Ultra Mac Studio דרך MLX. הרישיון הוא Muse Model License, מתירני אבל לא קוד פתוח לפי OSI. קראתי את הבלוג של מטא, את כרטיס המודל ב-Hugging Face ואת הפוסט של vLLM ליום ההשקה. בלוג ההשקה של מטא

מה מטא שחררה

Muse Spark Open הוא מודל תערובת מומחים דליל: ‏816 מיליארד פרמטרים בסך הכול, 42 מיליארד פעילים לכל טוקן, 62 שכבות, 256 מומחים בשכבה שמתוכם 8 מנותבים לכל טוקן, וחלון הקשר של מיליון טוקנים בהסקה. הקלט הוא טקסט, תמונה, וידאו ושמע; הפלט הוא טקסט. המשקלים זמינים ב-Hugging Face, ב-Amazon SageMaker AI, ב-Google Cloud Model Garden וב-Microsoft Foundry, ב-BF16 וב-NVFP4, עם משקלי MXFP4 שפרסמה AMD. גישה ב-API דרך Baseten, Fireworks AI, Groq, Modal, Nebius, OpenRouter ו-Together AI. כרטיס המודל

הטענה על שני המקים

הכותרת לחובבים היא הסקה מקומית: מטא אומרת ש-Muse Spark Open הוא המודל הראשון מסוגו שרץ על מחשב שולחני, עם שני Apple M5 Ultra Mac Studio ו-MLX העדכני. כל M5 Ultra נותן ל-GPU המשולב עד 512 ג'יגה-בייט של זיכרון מאוחד, כך ששני המחשבים מחזיקים את המודל, ורוחב הפס של 1.2 טרה-בייט לשנייה מזין אותו. בהדגמות של מטא על המכשיר, Muse Code המופעל על המודל שילב שינויי iOS אמיתיים ב-Ice Cubes, לקוח Mastodon בקוד פתוח, והוביל את DaVinci Resolve מקצה לקצה, בוחר פריימים וחותך אותם לאנך.

אלה ההדגמות של מטא עצמה. במה שקראתי, מטא לא פרסמה מספר טוקנים לשנייה לצמד המקים, ואיש מחוץ למטא עוד לא שחזר את זה. גם מחיר שני M5 Ultra Mac Studio נותר לקורא.

איך מיליון טוקנים הפכו משתלמים

הפוסט של צוות vLLM ליום ההשקה, שנכתב עם Meta Superintelligence Labs, מסביר את הארכיטקטורה. כל אחת מ-62 השכבות היא שכבת תערובת מומחים. מטריצת pooler נלמדת מצמצמת את רוחב כל טוקן מ-8192 ל-4096 לפני המומחים, ו-unpooler משחזר אותו, מה שמחצה את הפרמטרים בהטלות המומחים. תשומת הלב מתחלפת במחזור של ארבע: שלוש שכבות מסתכלות על חלון הזזה של 2048 טוקנים, הרביעית רואה את כל ההקשר, והמחזור מעוגן כך שהשכבה האחרונה תמיד מלאה. מתוך 62 שכבות יוצאות 46 צרות ו-16 רחבות, ובמיליון טוקנים מטמון ה-KV הוא קצת יותר מרבע ממה שתשומת לב מלאה בכל מקום הייתה דורשת. זה מה שהופך אורך הקשר כזה לזול מספיק להגשה.

vLLM גם אימנה מודל טיוטה לפענוח ספקולטיבי בשם DSpark, שמציע עד שבעה טוקנים במעבר אחד ועובד על CUDA ו-ROCm. התמיכה מיום ההשקה מגיעה כאימג'ים מוכנים של vLLM ל-NVIDIA ול-AMD; בקשת המיזוג של הקוד עוד הייתה בסקירה, וחבילת PyPI הלילית צפויה בעוד כשבוע. הפוסט של vLLM ליום ההשקה

טבלת המדדים, בקריאה פשוטה

הכרטיס של מטא משווה את Muse Spark Open במאמץ חשיבה xhigh מול Inkling, Nemotron 3 Ultra, Beam, Mistral Large 4, Qwen3.8-2.4T-A95B, GLM 5.3 ו-Kimi K3. Muse Spark Open רושם את המספר הטוב ביותר ב-MCP-Atlas ‏(89.2 מול 84.5 לבא אחריו) ואת הציון הנמוך, כלומר הטוב, ב-StrongREJECT v2 ‏(0.5 מול 62.9 עד 86.4). הוא קרוב לחזית ב-HLE עם כלים ‏(61.0 מול 62.5 ל-GLM 5.3).

בשורות אחרות הטבלה של מטא עצמה ממקמת אותו מאחור. Terminal-Bench 2.1 עם הסוכן Terminus 2: ‏76.4 מול 85.0 ל-Kimi K3 ו-83.9 ל-GLM 5.3. DeepSWE 1.1: ‏60 מול 68 ו-67. GPQA Diamond: ‏89.0 מול 93.5. GDPVal-AA v2: ‏1401 מול 1653. הניסוח "מודל הקוד הפתוח האמריקאי המסוגל ביותר עד כה" הוא של מטא, והשורות בכרטיס שלה עצמה מראות למה ההגבלה הגיאוגרפית עושה את כל העבודה: כמה מודלים פתוחים לא אמריקאים משיגים יותר במבחני קוד וסוכנים. כל המספרים הם של מטא, על מערכי מבחן שמטא בחרה.

הרישיון, בקריאה פשוטה

המשקלים יוצאים תחת Muse Model License, לא רישיון קוד פתוח מאושר OSI. ההיקף רחב: שימוש, העתקה, שינוי, כיוונון, מזוק, מיזוג, פרסום, הפצה, רישיון משנה ומכירה. שני תנאים בולטים. מוצרים שמשתמשים במודל או בנגזרותיו חייבים להציג "Built with Muse Spark Open". ואם אתם מציעים מודלים כשירות והכנסות הקבוצה שלכם עוברות 20 מיליון דולר בכל תקופה של שנה, עליכם קודם להודיע למטא ולחתום על הסכם נפרד. מדיניות שימוש מגבילה שימושים מסוימים. "משקלים פתוחים" הוא התיאור המדויק, ועבור רוב המפתחים הפרטיים והחברות הקטנות התנאים בפועל חינמיים.

בטיחות, לפי ההערכות של מטא

הכרטיס מדווח על מספרי סירוב חזקים: ‏99.2% מהפריצות נדחו במדד הסייבר הפנימי של מטא, 94.8% בצבירה על פני תת-קבוצת הסייבר של PolyGuard, RedCode ו-CyberBench 2024, כש-Kimi K3 על 75.5% ו-70.2% באותו מערך לפי מטא. הוא מדווח על סירוב של מעל 98% ב-BioTIER של SecureBio, שיעור יושר של 98.1% ב-MASK ו-0% התנהגות פסולה ב-Agentic Misalignment. מטא אומרת שהמודל קיבל אימון-המשך בטיחותי נוסף בגלל שהמשקלים פתוחים, ושהוא עמד בספי ה-Superintelligence Scaling Framework שלה. דוח ההערכה המלא עוד לא יצא כשבדקתי, אז כל מספר כאן הוא של מטא ולא נבדק חיצונית.

ניתוח: הקריאה שלי

סף המחשב השולחני הוא הסיפור האמיתי. מודל מהקלאס הזה שרץ על שני מחשבים מתחת לשולחן משנה את חשבון הפרטיות והעלות של עבודה סוכנית בקוד: הקוד נשאר בחדר. הקריאה הכנה של הכרטיס פחות ניצחונית. המודל תחרותי, לא שולט, והיתרונות הברורים שלו הם בשורות הסירוב שמטא גם עיצבה וגם מדדה. הרישיון משאיר וו בקבוצה אחת בדיוק: ספקי מודלים-כשירות גדולים. כל השאר מקבלים תנאים קרובים לחופש בסגנון Apache, עם שורת ייחוס.

מה לא הצלחתי לאשר

לא הורדתי ולא הרצתי את המודל. ההדגמות על Mac Studio הן הסרטונים והטענות של מטא, בלי מספרי תפוקה שפורסמו במקורות שקראתי. מערכי המבחנים נקובים שורה שורה, אבל דוח המתודולוגיה המלא עוד לא יצא. לא קראתי את כל רשימת ההגבלות של מדיניות השימוש, רק את טקסט הרישיון שמצוטט בכרטיס.

בדיקה שאפשר להריץ

טענת תשומת הלב ההיברידית היא חשבון שאפשר לעשות מחדש. קחו 16 ראשי KV בממד 64 ב-BF16, 62 שכבות, 16 מתוכן תשומת לב מלאה ו-46 עם חלון הזזה של 2048 טוקנים. הקוד למטה מחשב את מטמון ה-KV במיליון טוקנים בשתי הדרכים. הוא נוחת קרוב לרבע, כמו שהפוסט של vLLM אומר. אם אתם מתכננים להגיש את המודל, הריצו את אותו חשבון עם אורך ההקשר שלכם לפני שקונים חומרה.

מעריך להמחשה, לא הקוד של מטא

# Illustrative estimator, not Meta's code. Hybrid-attention KV cache at 1M tokens.
layers_total = 62
full_layers = 16        # vLLM day-0 post: 46 sliding-window + 16 full
window = 2048
tokens = 1_000_000
kv_per_token_layer = 16 * 64 * 2 * 2   # 16 KV heads, head dim 64, K+V, BF16
all_full = layers_total * tokens * kv_per_token_layer
hybrid = (full_layers * tokens + (layers_total - full_layers) * window) * kv_per_token_layer
print(f"all-full: {all_full/2**30:.0f} GiB   hybrid: {hybrid/2**30:.0f} GiB   ratio: {hybrid/all_full:.2f}")
# -> all-full: 236 GiB   hybrid: 61 GiB   ratio: 0.26  (vLLM says "just over a quarter")

מקורות ועדכניות

• בלוג ההשקה של מטא, 15 באוקטובר
• כרטיס המודל ב-Hugging Face
• הפוסט של vLLM ליום ההשקה, 15 באוקטובר