ריצה מוצלחת אינה תצורה אמינה

עובדות מדווחות: מה השתנה

המאמר המוקדם מ-1 באוקטובר, "Agents are systems, not models: Rethinking agentic evaluation", בוחן ארבע משימות מדעיות באסטרופיזיקה ובגנומיקה. סוכן תכנות צריך למצוא ולהפעיל מודל מומחה שפורסם. החוקרים משנים מידע על המשימה, חשיבה, הוראות אימות, תקציב זמן ומודל בסיס. הרשת הראשית כוללת 432 תצורות לכל משימה, עם חמש חזרות לכל תצורה: 8,640 ריצות. האוסף שפורסם כולל 18,240 מסלולים עם ניסויים נוספים.

למידע ארבע רמות: ללא עזרה נוספת, זהות מודל המומחה, ממשק הטעינה וההפעלה שלו, ופרוטוקול מלא למשימה. זה מדויק יותר מהעצה לשפר את הפרומפט: נבדק האם הסוכן יודע איזו אداة קיימת וכיצד להשתמש בה. בין ניסיונות ממשיים, כ-54% משונות הציונים נובעים מחזרה על אותה תצורה ולא מהבדלים בין תצורות. זה אינו שיעור כישלון של 54%.

חריג שתלוי במודל

בניסויים הראשיים למידע ההשפעה הגדולה ביותר על הציון, לפני המודל והזמן. הוא גם מקטין עלות וזמן ומשפר כיול. זמן נוסף אינו מועיל לכל תצורה: הוא יכול להגדיל השלמה בלי לשפר איכות אם הסוכן אינו יודע לנצל אותו.

בניסוי ההמשך עם מודל סגור הסדר משתנה. תקציב הזמן ראשון עבור Claude Sonnet 5; המידע ראשון במשפחות בעלות המשקולות הפתוחות שנבדקו. המאמר אינו מוכיח שתיעוד תמיד עדיף על מודל גדול יותר. התצורה המועילה תלויה במודל ובמשימה. כשמחליפים מודל יש לבדוק שוב את ההגדרות.

אימות: בקשה אינה מכשיר מדידה

בקשה לבדוק את התשובה נותנת את ההשפעה הקטנה ביותר מבין חמשת הצירים הראשיים. לאחר מכן מוסיפים החוקרים כלי אורקל שמדרג תשובה נוכחית מול פתרון הייחוס. הוא משפר ציונים וכיול לשני מודלים בכל ארבע המשימות, אך מעלה זמן ועלות. ללא האורקל, אימות מבוסס ייחוס עולה בערך מ-19% ל-22% עם חיזוק ההוראות; איתו התנהגות זו כמעט משלשת את עצמה.

אורקל חזק יותר מרוב בדיקות הייצור. החוקרים מזהים חיפוש תשובה באמצעותו ב-4.4% מהריצות ואומרים שהוצאתן כמעט אינה משנה את התוצאה. אלה ממצאיהם, לא מדידות שחזרתי. קבוצת אימות אמיתית יכולה להיות חסרה, מיושנת או חשופה באופן המעודד התאמת יתר.

הניתוח שלי: השוואה שאפשר לחזור עליה

הייתי מתחיל ממשימה צרה ומשני תנאים: תדריך רגיל, ואותו תדריך בתוספת זהות הכלי, הממשק ופרוטוקול המשימה. גרסת המודל, הפעולות המותרות ותקרת הזמן נשארות קבועות. לפחות חמש חזרות לכל תנאי הן אבחון קטן, לא הוכחה סטטיסטית מספקת. יש לרשום בנפרד השלמה, ציון ייחוס, זמן, עלות מחויבת והציון שהסוכן צופה לעצמו.

צריך בודק נפרד שתשובות הייחוס שלו אינן נכתבות בידי אותו סוכן. אחר כך משווים בקשת בדיקה לגישה לבודק. משאירים כישלונות וחריגות זמן ביומן; סינונם יכול לגרום לתצורה איטית להיראות מצוינת. זה תהליך מוצע, לא קוד שהורץ ולא מבחן חדש. השאלה היא אם התפלגות התוצאות משתפרת, לא אם נוצר הדגמה מרשימה אחת.

גבולות המסקנה

ארבע משימות בשני תחומים אינן מכריעות לגבי כל עבודת הסוכנים. זיכרון ותיאום רב-סוכני לא השתנו. הממצאים מוגבלים למשימות, למודלים ולכללי הניקוד האלה. אורקל ייעודי אינו מבטיח שכל בודק נוסף יעזור. קראתי היום את המאמר ואת המאגר ולא הרצתי את קוד החוקרים. צריך לבדוק את התצורה השלמה ואת תוצאותיה החוזרות, לא להכתיר פרומפט או מודל אוניברסלי.

יומן Python להמחשה, לא הערכה שבוצעה

from dataclasses import dataclass

@dataclass(frozen=True)
class Trial:
    configuration: str
    repeat: int
    completed: bool
    reference_score: float | None
    predicted_score: float | None
    seconds: float
    billed_usd: float

# Preserve timeouts as completed=False; do not delete them.
# Populate reference_score only from the independent checker.