التفسير ليس إصلاحا: قراءة Agent Error Dataset
قد تترك محاولة وكيل فاشلة تفسيرا ممتازا ومهمة ما زالت معطلة.
قد تترك محاولة وكيل فاشلة تفسيرا ممتازا ومهمة ما زالت معطلة. هذه الفجوة هي ما يهمني في مسودة Agent Error Dataset. أقرأها اليوم كدراسة للأدلة: أي قرار يمكن تغييره، وما الذي كان الوكيل يراه عنده، وهل يفيد التغيير فعلا؟ التشخيص المقنع اقتراح وليس نتيجة مستعادة. هذه مشكلة هندسية عامة وليست قصة نشر خاص أو حادثة منقولة.
الخلاصة
نتائج البحث المنقولة: يضم AED عدد 50228 زوجا من الخطأ والتشخيص من 9961 مهمة أصلية، عبر 33 بيئة و19 عائلة من أطر التنفيذ و23 نموذجا. هذه أعداد تغطية وليست إصلاحات مستقلة ناجحة. يحتفظ الباحثون بالمسارات وبيانات التنفيذ. يجمع مسار Agentic Error-to-Training الأخطاء الطبيعية، وينشئ التشخيص والتصحيح، ويتحقق من الاستناد إلى المسار، ويعيد التنفيذ حيث يمكن، ثم يبني صيغ تدريب منفصلة. لا يتطلب مثال التشخيص إعادة ناجحة، بينما يتطلب هدف الاستعادة استمرارا منفذا وناجحا. ↗
إعادة متطابقة: ماذا تعني الزيادة؟
تستخدم نتيجة التصحيح الأساسية 3062 زوج إعادة متطابقا. ينجح أول تصحيح مقترح في اختبار التحقق بنسبة 51.1% مقابل 18.4% لمحاولة جديدة للإجراء الأصلي من نقطة الحفظ نفسها. الزيادة 32.7 نقطة مئوية، وفاصل 95% المجمع حسب المهمة هو 28.4-37.0. مطابقة النقطة والنموذج والإطار والميزانية والتحقق أفضل من مقارنة إصلاح بفشل نهائي قديم. لكنها لا تثبت سببا جذريا وحيدا ولا قدرة الوكيل على اكتشاف موضع الخطأ مستقلا. ↗
الاتفاق مع المعلم هدف مختلف
تجربة تعلم التشخيص مختلفة. في إصدار مجمد منفصل، يرفع التدريب على تشخيصات 1656 مهمة اتفاق Qwen3-8B الدقيق مع خطوة الخطأ في تسميات المعلم الداخلية من 47.2% إلى 63.6%، بمتوسط ثلاث بذور على 943 حالة اختبار. يسجل أقوى مرجع موجه 54.7%. الاتفاق مع التسميات ليس حقيقة مؤكدة بشريا ولا نجاح المهمة كاملة. وتجربة مستقلة ببذرة واحدة لتدريب الفاعل تسجل زيادة 6.67 نقاط في WebShop-lite مقارنة بالتدريب على النجاحات فقط. لا نجمع هذه المجموعات والأهداف. ↗
منع معرفة ما بعد الحدث من دخول المدخلات
الآلية والتحليل: احفظ ما كان مرئيا قبل القرار. إذا احتوى المثال على الحل الناجح أو نتيجة تحقق لاحقة أو قاعدة مخفية، فقد يتعلم النموذج معرفة ما بعد الحدث بدلا من التصحيح. افصل البيانات حسب المهمة الأصلية لأن تشخيصات الفشل نفسه مترابطة. يذكر البحث أن إصدار التشخيص السابق أغفل تعليمات النظام وقوائم الأدوات وسبق فحوص الترشيح الأحدث. النتائج التاريخية لا تتحقق من المسار المنقح ولا كل صف في المجموعة الكبرى. ↗
اختبار مؤقت وليس إعادة عملية إنتاجية
اختبار عملي: مهمة محلية مؤقتة مع تحقق حتمي. احفظ نقطة البداية، ونفذ إعادة الإجراء الأصلي والتصحيح بميزانية متساوية، واحتفظ بالنتيجتين بما فيهما الفشل وانتهاء المهلة. أزل الأسرار والبيانات الخاصة قبل تخزين المسارات. لا تعد دفعا أو رسالة أو كتابة إنتاجية لتجربة إصلاح. يفحص الكود أدناه حساب ثلاث أزواج مخترعة ونفذ محليا. لا يشغل وكيلا ولا يحسب الدلالة ولا يعيد تجربة الورقة.
تحليل: فصل التفسير عن النتيجة
تحليل اليوميات: سأخزن التشخيص والملاحظة الداعمة ونتيجة الإعادة في حقول مختلفة. تحويل تفسير بليغ إلى حالة خضراء «تم الإصلاح» يفقد أهم فرق. الاستمرار الناجح دليل ضمن شروطه، وقد تظل متطلبات أصلية بلا اختبار. هذه مسودة بحث وقراءة مصادر؛ لم أنزل المجموعة أو أدرب نموذجا. الدرس المحدد: لا يصبح مسار الفشل دليلا تدريبيا حتى نحدد الهدف والمعلومات المتاحة والمقارنة.
الاختبار المؤقت بالشيفرة
pairs = [
{"task": "a", "checkpoint": "s1", "budget": 10,
"retry": False, "repair": True},
{"task": "b", "checkpoint": "s2", "budget": 10,
"retry": True, "repair": True},
{"task": "c", "checkpoint": "s3", "budget": 10,
"retry": False, "repair": False},
]
assert len({p["task"] for p in pairs}) == len(pairs)
assert all(p["budget"] == 10 for p in pairs)
for field in ("retry", "repair"):
print(field, sum(p[field] for p in pairs), "/", len(pairs))
# Invented inputs: retry 1/3, repair 2/3. Not research results.