ההסבר אינו התיקון: קריאה ב-Agent Error Dataset
ריצה כושלת של סוכן יכולה להשאיר הסבר מצוין ומשימה שעדיין שבורה.
ריצה כושלת של סוכן יכולה להשאיר הסבר מצוין ומשימה שעדיין שבורה. זה הפער שמעניין אותי בטיוטת Agent Error Dataset. היום אני קורא אותה כמחקר על ראיות: איזו החלטה אפשר לשנות, מה הסוכן ראה אז, והאם השינוי עוזר. אבחון משכנע הוא הצעה, לא תוצאה שתוקנה. זו בעיה הנדסית כללית, לא סיפור על מערכת פרטית או אירוע מדווח.
בקצרה
ממצאים מדווחים: AED כולל 50,228 זוגות שגיאה ואבחון מ-9,961 משימות מקור, ב-33 סביבות, 19 משפחות מעטפת ו-23 מודלים. אלה מספרי כיסוי, לא 50,228 תיקונים מוצלחים עצמאיים. החוקרים שומרים עקבות ומטא-נתוני ביצוע. חמשת שלבי Agentic Error-to-Training אוספים כישלונות טבעיים, מציעים אבחון ותיקון, בודקים תמיכה בעקבה, מריצים מחדש כשאפשר ובונים תצוגות אימון נפרדות. אבחון אינו מחייב שחזור מוצלח; יעד התאוששות מחייב המשך שבוצע ועבר בדיקה. ↗
שחזור תואם: מה משמעות השיפור
תוצאת התיקון המרכזית משתמשת ב-3,062 זוגות שחזור תואמים. התיקון הראשון עובר אימות ב-51.1% מהמקרים, לעומת 18.4% בניסיון חדש של הפעולה המקורית מאותה נקודת שמירה. העלייה היא 32.7 נקודות אחוז; רווח 95% המקובץ לפי משימה הוא 28.4-37.0. התאמת נקודה, מודל, מעטפת, תקציב ומאמת מועילה יותר מהשוואת תיקון לכישלון סופי קודם. היא אינה מוכיחה סיבה יחידה ואינה בודקת גילוי עצמאי של מיקום השגיאה. ↗
הסכמה עם מורה היא יעד אחר
ניסוי למידת האבחון נפרד. בגרסה קפואה אחרת, אימון על אבחונים מ-1,656 משימות מעלה הסכמה מדויקת של Qwen3-8B עם תוויות שלב פנימיות של המורה מ-47.2% ל-63.6%, בממוצע שלושה זרעים על 943 מקרי מבחן. הבסיס המונחה החזק ביותר מקבל 54.7%. הסכמה עם תוויות אינה אמת שאדם אימת או הצלחת משימה מלאה. ניסוי נפרד בזרע יחיד מדווח על יתרון 6.67 נקודות ב-WebShop-lite לאימון תיקון פעולה לעומת אימון על הצלחות בלבד. אין לחבר אוכלוסיות ויעדים אלה. ↗
מניעת מידע בדיעבד בקלט
מנגנון וניתוח: שמרו את המידע שהיה גלוי לפני ההחלטה. אם הדוגמה מכילה פתרון מוצלח, תוצאת אימות מאוחרת או כלל נסתר, המודל עלול ללמוד חוכמה בדיעבד. חלקו לפי משימת מקור, כי כמה אבחונים לאותו כישלון קשורים זה לזה. המחקר מציין שגרסת האבחון המוקדמת השמיטה הוראות מערכת ורשימות כלים וקדמה לסינון החדש. תוצאות היסטוריות אינן מאמתות את התהליך המתוקן או כל שורה באוסף הגדול. ↗
בדיקה זמנית, לא שחזור בייצור
בדיקה מעשית: משימה מקומית זמנית עם מאמת דטרמיניסטי. שמרו נקודת התחלה, הריצו שוב את הפעולה המקורית ואת התיקון בתקציב זהה ושמרו את שתי התוצאות, לרבות כישלון וזמן קצוב. הסירו סודות ורשומות פרטיות לפני אחסון עקבות. אל תשחזרו תשלום, הודעה או כתיבה בייצור לצורך ניסוי. הקוד למטה בודק רישום של שלושה זוגות מומצאים והורץ מקומית. הוא אינו מריץ סוכן, מחשב מובהקות או משחזר את המחקר.
ניתוח: להפריד הסבר ותוצאה
ניתוח היומן: הייתי שומר אבחון, תצפית תומכת ותוצאת שחזור בשדות שונים. לוח שמתרגם הסבר יפה למצב ירוק «תוקן» מאבד את ההבחנה החשובה. המשך מוצלח הוא ראיה בתנאים שנבדקו, אך ייתכנו דרישות שלא נבדקו. זהו קדם-פרסום וסקירת מקורות; לא הורדתי נתונים ולא אימנתי מודל. הלקח צר: עקבת כישלון נעשית ראיית אימון רק לאחר שמגדירים יעד, מידע זמין והשוואה.
הבדיקה הזמנית בקוד
pairs = [
{"task": "a", "checkpoint": "s1", "budget": 10,
"retry": False, "repair": True},
{"task": "b", "checkpoint": "s2", "budget": 10,
"retry": True, "repair": True},
{"task": "c", "checkpoint": "s3", "budget": 10,
"retry": False, "repair": False},
]
assert len({p["task"] for p in pairs}) == len(pairs)
assert all(p["budget"] == 10 for p in pairs)
for field in ("retry", "repair"):
print(field, sum(p[field] for p in pairs), "/", len(pairs))
# Invented inputs: retry 1/3, repair 2/3. Not research results.