نجاح تشغيل الوكيل لا يثبت موثوقية إعداده

حقائق منشورة: ما الذي تغير؟

تدرس المسودة المؤرخة في 1 أكتوبر، "Agents are systems, not models: Rethinking agentic evaluation"، أربع مهام علمية في الفيزياء الفلكية وعلم الجينوم. على وكيل البرمجة العثور على نموذج متخصص منشور وتشغيله. يغير الباحثون معلومات المهمة والاستدلال وتعليمات التحقق وميزانية الوقت والنموذج الأساسي. تضم الشبكة الرئيسية 432 إعداداً لكل مهمة، يتكرر كل منها خمس مرات: 8,640 تشغيلاً. وتضم المجموعة المنشورة 18,240 مساراً بما فيها التجارب الإضافية.

للمعلومات أربع درجات: بلا مساعدة إضافية، وهوية النموذج المتخصص، وواجهة تحميله واستدعائه، وبروتوكول كامل للمهمة. هذا أدق من نصيحة تحسين الطلب؛ فهو يختبر معرفة الأداة وطريقة استعمالها. بين المحاولات الجدية يأتي نحو 54% من تباين الدرجات من تكرار الإعداد نفسه، لا من اختلاف الإعدادات. هذه ليست نسبة فشل تبلغ 54%.

استثناء يعتمد على النموذج

في التجارب الرئيسية كان للمعلومات أكبر أثر على الدرجة، متقدمة على النموذج والوقت. كما خفضت التكلفة والمدة وحسنت معايرة تقدير الأداء. الوقت الإضافي لا يفيد كل إعداد: قد يزيد إتمام المهام دون تحسين الجودة إذا لم يعرف الوكيل كيف يستفيد منه.

تغير ترتيب العوامل في اختبار النموذج المغلق. جاءت ميزانية الوقت أولاً مع Claude Sonnet 5، بينما بقيت المعلومات أولاً مع عائلات النماذج ذات الأوزان المفتوحة المختبرة. لا تثبت الورقة أن التوثيق يتفوق دائماً على نموذج أكبر. الإعداد المفيد يعتمد على المهمة والنموذج، ويجب إعادة اختباره عند تبديل النموذج.

التحقق: الطلب ليس أداة قياس

كان طلب التحقق من الإجابة أقل العوامل الخمسة أثراً على الدرجة. أضاف الباحثون بعد ذلك أداة مرجعية تستطيع تقييم الإجابة الحالية مقابل حل المهمة المرجعي. حسنت الدرجات والمعايرة لنموذجين في المهام الأربع، لكنها رفعت الوقت والتكلفة. دون الأداة ارتفع التحقق المرجعي تقريباً من 19% إلى 22% مع تشديد التعليمات؛ ومعها تضاعف هذا السلوك نحو ثلاث مرات.

هذه الأداة أقوى من معظم فحوص الإنتاج. بحث المؤلفون عن استعمالها للبحث التدريجي عن الجواب، ووجدوه في 4.4% من التشغيلات، وقالوا إن استبعادها بالكاد يغير النتيجة. هذه نتائجهم وليست قياسات أعدتها. قد تكون مجموعة التحقق الواقعية ناقصة أو قديمة أو تسمح بالإفراط في التكيف معها.

تحليلي: مقارنة قابلة للتكرار

سأبدأ بمهمة ضيقة وشرطين: وصف عادي، والوصف نفسه مع هوية الأداة وواجهتها وبروتوكول المهمة. ثبّت نسخة النموذج والأفعال المسموحة والحد الزمني. كرر كل شرط خمس مرات على الأقل كتشخيص صغير، لا كبرهان إحصائي كاف. سجل الإتمام والدرجة المرجعية والوقت والتكلفة الفعلية وتوقع الوكيل لدرجته كلّاً على حدة.

استعمل فاحصاً مستقلاً لا يكتب الوكيل نفسه إجاباته المرجعية. ثم قارن طلب التحقق بإتاحة ذلك الفاحص. احتفظ بالفشل وانتهاء المهلة في السجل؛ استبعادهما قد يجعل الإعداد البطيء يبدو ممتازاً. هذا مسار عمل مقترح، لا شيفرة منفذة ولا معياراً جديداً. السؤال هو تحسن توزيع النتائج، لا الحصول على عرض ناجح واحد.

حدود الاستنتاج

أربع مهام في مجالين لا تحسم جميع استخدامات الوكلاء. لم تتغير الذاكرة ولا تنسيق عدة وكلاء. النتائج مقيدة بهذه المهام والنماذج وقواعد التقييم. الأداة المرجعية لا تضمن فائدة أي فاحص مضاف. قرأت الورقة والمستودع اليوم ولم أشغل شيفرة الباحثين. الخلاصة عندي: اختبر الإعداد كله ونتائجه المتكررة، ولا تتوج طلباً أو نموذجاً صالحاً لكل الحالات.

سجل Python توضيحي، ليس تقييماً منفذاً

from dataclasses import dataclass

@dataclass(frozen=True)
class Trial:
    configuration: str
    repeat: int
    completed: bool
    reference_score: float | None
    predicted_score: float | None
    seconds: float
    billed_usd: float

# Preserve timeouts as completed=False; do not delete them.
# Populate reference_score only from the independent checker.