أي فشل نصلحه بعد ذلك: قراءة ActiveSaddler

يصلح إطار الوكيل خطأ اقتباس في الصدفة، ثم ينفق عشر محاولات تالية على مهام ينجح فيها أصلا. لا شيء معطل في أي خطوة، لكن الميزانية ضاعت. هذه مشكلة الجدولة هي لب مسودة ActiveSaddler المنشورة على arXiv في الأول من أكتوبر.

الخلاصة

نتائج البحث المنقولة: يختار ActiveSaddler أي سيناريوهات التدريب تقود التعديلات الآلية للإطار. يعامل أنماط الفشل كأذرع في مسألة قطاع متغيرة، ويقدر التقدم المتوقع لكل نمط، ويوازن بين العودة إلى نقاط الضعف المعروفة واستكشاف سيناريوهات جديدة. على GAIA2 يذكر 59.8% في Pass@1 للاختبار مقابل 55.4% للمحسن نفسه بترتيب ثابت عشوائي. وعلى Terminal-Bench 2.0 يذكر 80.0% مقابل 72.5%. ↗

الاختبار التجريبي بالشيفرة

# Invented toy: two ways to spend 6 rollouts on failure patterns.
remaining = {"quoting": 4, "paths": 2, "timeouts": 1, "stale-docs": 0}

def fixed(order, budget):
    left = dict(remaining); fixed_n = 0
    for name in order[:budget]:          # one pass in a preset order
        if left[name]:
            left[name] -= 1; fixed_n += 1
    return fixed_n

def adaptive(budget):
    left = dict(remaining); fixed_n = 0
    for _ in range(budget):              # always target the largest unresolved pattern
        name = max(left, key=left.get)
        if left[name]:
            left[name] -= 1; fixed_n += 1
    return fixed_n

order = ["stale-docs", "stale-docs", "timeouts", "paths", "stale-docs", "quoting"]
a, b = fixed(order, 6), adaptive(6)
assert (a, b) == (3, 6)
print("preset order repaired", a, "of 6; adaptive repaired", b, "of 6")
# 1 test task on a 40-task split moves the score by 2.5 points.
assert 100 / 40 == 2.5

المصادر والحدود

• https://arxiv.org/abs/2610.00906
• https://arxiv.org/html/2610.00906