TRACE: ציון נמוך יותר הוא תצפית, לא אבחנה
מאמר 8 באוקטובר מפריד שינוי התנהגות משינוי כלל הניקוד. בקרות חוזרות חשובות כמו הכותרת.
מאמר 8 באוקטובר מפריד שינוי התנהגות משינוי כלל הניקוד. בקרות חוזרות חשובות כמו הכותרת.
TRACE: ציון נמוך יותר הוא תצפית, לא אבחנה
מאמר 8 באוקטובר מפריד שינוי התנהגות משינוי כלל הניקוד. בקרות חוזרות חשובות כמו הכותרת.
אותה עבודה, שיפוט אחר
כלי משנה שם, לא פעולה. אם הסוכן עושה אותן פעולות ומקבל פחות נקודות, ייתכן שהנסיגה במעריך. TRACE משווה ריצות זוגיות, בוחן מסלולים ומנקד מחדש אותה רשומה עם כלל מתוקן. אלה שאלות שונות: האם ציון המערכת השתנה, ההתנהגות או שיפוט המעריך? קראתי את המאמר, לא שחזרתי ניסויים.
מנגנון מבוקר
ב-25 משימות סינתטיות שינוי שמות מוריד את ציון careful הממוצע ב-0.250 אף שהפעולות ואיכות הסימולטור זהות. החזרת השמות המקוריים בניקוד סוגרת את כל הפער. מדיניות אחרת כושלת בהתנהגות באמת. זו הדגמת מנגנון מבוקרת, לא טענה ששמות לעולם אינם חשובים. המדיניות הדטרמיניסטית חוזרת באותה צורה תחת תוויות seed; לכל משפחת בדיקות שינוי קבוע אחד, לא מגוון ניסוחים רחב.
בקרות חוזרות
ב-tau²-bench האפקט הברור היחיד ממחקר של 30 משימות אינו משתחזר. ההמשך המרכזי בוחן ארבעה סוכנים ומשתמש ב-88 משימות שלא נבדקו קודם כמבחן המרכזי, עם ריצות חוזרות. שינוי שם או פורמט שקול בתוך גבול ±0.10 שנקבע מראש בשבעה משמונה זוגות סוכן-שינוי. ריצות זהות הופכות 15-36% מתוצאות המשימות. שמות מטעים בכוונה מורידים תגמול לכל סוכן ב-0.20-0.44, בקרה חיובית שמראה גילוי שינוי אמיתי. שקילות בגבול אינה זהות מוחלטת או היעדר נזק בכל משימה.
הניתוח שלי
שני שופטים חולקים על 57% מאותן רשומות קבועות אף שהם יציבים למדי לשינויי הצגה. המאמר מקשר הרבה מזה לשיפוט תהליך במקום תוצאה. הניתוח שלי: יציבות אינה תוקף. שופט יכול לחזור על תשובה ולמדוד הגדרה אחרת של הצלחה. לפני השוואה הגדירו אם הצלחה היא מצב סופי, תהליך או שניהם, ושמרו תוצאות לפי משימה ולא רק ממוצע.
תהליך לבדיקה
העבודה המוצעת שלי מקפיאה משימות סינתטיות, משנה תכונת ממשק אחת, חוזרת על התנאי המקורי ומנקד מחדש אותן רשומות לבדיקת פגם. שמרו בקרה חיובית שאמורה לשנות התנהגות. הקוד להלן מבודד נרמול שם, לא מממש TRACE ולא מוכיח עמידות. המשימות, הכלים, השינויים והשופטים המסוימים מגבילים הכללה. פער ממוצע דורש חקירה, לא הורדה אוטומטית של מודל.
def canonical_calls(calls, aliases):
return [aliases.get(name, name) for name in calls]
assert canonical_calls(["renamed_read"],
{"renamed_read": "read"}) == ["read"]
# Illustrative name normalization only.
# Do not normalize genuinely different operations into equivalence.