האם צוות של שלושה סוכנים מנצח סוכן אחד שפותח? מאמר אומר לא, בעלות שווה
MA-Evolve מקבע את מספר הקריאות למודל ומוצא שצוות של מתכנן, מבצע ומבקר שווה למבצע יחיד שפותח, בעלות גבוהה פי 1.8 למשימה.
מתכנן, מבצע, מבקר: צוות בעל שלושה תפקידים הוא הצורה ברירת המחדל של צינור סוכנים «רציני». מאמר מיוני שואל אם הוא מצדיק את הקריאות הנוספות, ועונה בלא מבוקר על מודל קטן אחד ושני מבחנים.
בקצרה
המאמר «At Equal Inference Cost, Multi-Agent Structure Does Not Beat a Single Frozen Agent» (arXiv 2609.04217, הוגש ב-25 ביוני 2026) מפתח את ההנחיות של צוות בעל שלושה תפקידים ושל סוכן יחיד בתקציב קריאות שווה למודל. ב-ALFWorld הצוות משיג 0.769 והסוכן היחיד 0.754, פער של שתי משימות מתוך 134 שהכותבים אינם יכולים להבדיל מצירוף מקרים (p = 0.80), ב-1.79 פי קריאות למשימה. קראתי את המאמר במלואו. לא הרצתי דבר.
מה המאמר טוען
הכותבים בונים את MA-Evolve. מודל קפוא אחד, Qwen2.5-7B-Instruct, ממלא את כל התפקידים, ולכן לאף תפקיד אין מוח חזק יותר. מה שמשתנה הוא רק ההנחיה של כל תפקיד, והיא מכוונת תפקיד אחד בכל פעם. לפני האבולוציה הסוכן הפשוט פותר 0.657 מתוך 134 משימות ALFWorld מוחזקות. אחרי פיתוח של הנחיית המבצע בלבד הוא פותר 0.754 (מקנמר 20 מול 7, p = 0.021). ההנחיה קריאה: לפתוח מכל סגור לפני שלוקחים ממנו, לקחת לפני שמניחים, להשתמש בתבניות הפעולה המדויקות, לאשר שלבי קירור, חימום ושימוש.
הצוות המלא מגיע ל-0.769. מול הסוכן היחיד שפותח זה +0.015 (9 משימות מול 7, p = 0.80). ב-WebShop, עם 80 סשנים מוחזקים וציון רציף, האבולוציה לא משנה דבר (0.245 מול 0.242) והצוות נוטה לצד הגרוע, 0.185, אף ש-p = 0.12 אומר שגם זה לא הוכח.
למה הצוות לא מוסיף כאן דבר
המאמר מודד זאת. ההנחיות שפותחו למתכנן ולמבקר נשארו ריקות או כמעט ריקות. כשהופעלו, המתכנן שינה את פעולת המבצע ב-14% מהמקרים והמבקר ב-41%. כלומר הרווח של הצוות על הבסיס הוא הרווח של המבצע, בתוספת שתי קריאות בכל צעד. הכותבים גם טוענים שתקציב קריאות קבוע מרעיב את החיפוש: מחלקים אותו בין שלושה תפקידים וכל אחד מקבל שליש מהניסיונות.
| מקרה | הצלחה על משימות מוחזקות | קריאות למשימה | עלות מול מבצע יחיד |
|---|---|---|---|
| בסיס ללא אבולוציה | 0.657 | - | - |
| מבצע יחיד שפותח | 0.754 | 18.0 | 1.00× |
| צוות מלא (מתכנן, מבצע, מבקר) | 0.769 | 32.2 | 1.79× |
| מבצע בלבד (LOI:exec) | 0.731 | 16.7 | 0.93× |
איפה הראיות דקות
- מודל קפוא אחד של 7 מיליארד פרמטרים. מודל גדול יותר, או מודלים שונים לכל תפקיד, עשויים להשאיר מקום למבקר אמיתי. הכותבים אומרים זאת ואינם טוענים שהתוצאה מתכללת.
- טופולוגיה אחת ומייעל אחד. דיון, אנסמבלים וחיפוש משותף של הנחיות ומבנה מחוץ להיקף.
- הערכה חמדנית אחת לכל תא, עם רווחי ביטחון בבוטסטראפ על משימות, ללא הרצות חוזרות. שני מבחנים.
- משטר המקרה הטוב ביותר, שמגביל ריצות במקום קריאות, מדווח רק לצוות, כי הרצות לפי תפקיד קרסו בגלל באג במתכנן. הכותבים מציינים זאת.
קריאה זהירה: במודל קטן ובתקציב קריאות קבוע, הוסיפו תפקיד רק אחרי שהראיתם שהוא משנה פעולה. המאמר נותן את המדדים לכך, שיעור הפעמים שתפקיד משנה את בחירת המבצע.
מקורות ומגבלות
העובדות מגיעות מהתקציר, מהטקסט ומהטבלאות של המאמר כפי שקראתי ב-PDF ב-6 באוקטובר 2026. הפרשנות שלי. לא הרצתי את הקוד של הכותבים ולא שחזרתי אף מספר.