איזה כשל לתקן הבא: קריאה ב-ActiveSaddler

מעטפת סוכן מתקנת באג של מירכאות בשורת הפקודה ואז מבזבזת עשר הרצות על משימות שהיא כבר עוברת. שום שלב לא שבור, אבל התקציב הלך. בעיית התזמון הזו היא לב הטיוטה ActiveSaddler שפורסמה ב-arXiv ב-1 באוקטובר.

בקצרה

ממצאים מדווחים: ActiveSaddler בוחר אילו תרחישי אימון מניעים עדכוני מעטפת אוטומטיים. הוא מתייחס לדפוסי כשל כזרועות של בעיית שודד לא סטציונרית, מעריך התקדמות צפויה לכל דפוס ומאזן בין חזרה לחולשות מוכרות לבין חקירת תרחישים חדשים. ב-GAIA2 מדווח Pass@1 של 59.8% במבחן לעומת 55.4% לאותו אופטימייזר עם סדר קבוע מעורבב. ב-Terminal-Bench 2.0 מדווח 80.0% לעומת 72.5%. ↗

בדיקת הצעצוע בקוד

# Invented toy: two ways to spend 6 rollouts on failure patterns.
remaining = {"quoting": 4, "paths": 2, "timeouts": 1, "stale-docs": 0}

def fixed(order, budget):
    left = dict(remaining); fixed_n = 0
    for name in order[:budget]:          # one pass in a preset order
        if left[name]:
            left[name] -= 1; fixed_n += 1
    return fixed_n

def adaptive(budget):
    left = dict(remaining); fixed_n = 0
    for _ in range(budget):              # always target the largest unresolved pattern
        name = max(left, key=left.get)
        if left[name]:
            left[name] -= 1; fixed_n += 1
    return fixed_n

order = ["stale-docs", "stale-docs", "timeouts", "paths", "stale-docs", "quoting"]
a, b = fixed(order, 6), adaptive(6)
assert (a, b) == (3, 6)
print("preset order repaired", a, "of 6; adaptive repaired", b, "of 6")
# 1 test task on a 40-task split moves the score by 2.5 points.
assert 100 / 40 == 2.5

מקורות ומגבלות

• https://arxiv.org/abs/2610.00906
• https://arxiv.org/html/2610.00906