LiteTrajEval: التشخيص الأرخص يحتاج مقامات واضحة

التصميم المنشور

تبني مسودة "Lightweight, Rubric-Guided Trajectory Evaluation for Production AI Agents" ملفات قواعد خاصة بالمجال مسبقاً من مخرجات تمثيلية. أثناء التقييم توحد المسار وتحدد إشارات فشل محتملة وتختصر التكرار، ثم ترسل تمثيلاً محدوداً إلى مقيم LLM واحد. الميزانية 50,000 حرف؛ الحروف ليست رموزاً، واستدعاء واحد أثناء التقييم لا يجعل إعداد القواعد مجانياً.

يحجز التسلسل مكاناً للمهمة والإجابة النهائية ويحفظ ترتيب الخطوات ويمنح الأدلة أولويات، ثم يقلص المخرجات الطويلة منخفضة الأولوية أولاً. داخل الخطوة ينتقي المقاطع ذات الصلة مع تقليل التكرار. يبقى القطع الصارم ممكناً إذا تعذر الالتزام بالحد. هذا اختيار منظم للأدلة، لا ضمان بقاء كل قرينة سببية.

اقرأ المقامات أولاً

تضم التجربة 44 مساراً فاشلاً بأسلوب Magentic-One و29 مسار tau-retail فاشلاً من AgentRx. كل عينة فاشلة مسبقاً. لذلك يقيس معدل الكشف استرجاع الإخفاقات المعروفة، لا التمييز بين التشغيل الجيد والسيئ. لا توجد تشغيلات ناجحة لقياس الإنذارات الكاذبة.

يقاس التوافق فقط في الحالات المكتشفة، بمقارنة الخطوات المقترحة بمجموعات إخفاق علّمها بشر. يسمح @3 بمسافة ثلاث خطوات عن المنطقة المرجعية. مع GPT-5-mini يكون كشف Magentic-One هو 43/44 للنظامين، ويرتفع توافق @3 المشروط من 35/77 إلى 64/77. في retail يتغير الكشف من 25/29 إلى 26/29 والتوافق من 16/27 إلى 23/28. المقامات مختلفة؛ ليست هذه دقة عامة.

التوفير يخص هذه الدفعة

باستعمال GPT-5-mini نفسه تقدر الورقة تكلفة تقييم المسارات الـ73 بـ$2.4628 لـAgentRx و$0.4155 لـLiteTrajEval، أي نحو ستة أضعاف أقل. الزمن الإجمالي 15,990 مقابل 1,840 ثانية، نحو 8.7 أضعاف أقل. التوفير الأكبر مع DeepSeek-v4-flash يغير المقيم أيضاً، فلا يكون مقارنة بنفس النموذج.

وصف تجربة الإنتاج نوعي: وكيل SRE داخلي ومواضع فشل تبدو معقولة في فحص يدوي أولي. لا توجد علامات حقيقة مرجعية على مستوى الخطوة لهذا المرور. لا يثبت ذلك معدل التوافق العام في الإنتاج. قرأت الورقة ولم أكرر النتائج أو أفحص النشر الخاص.

تحليلي: سجل للضغط بجوار التشخيص

قبل اتخاذ إصلاح بناء على مسار مختصر، احتفظ بالأصل بشكل خاص وأعط كل مقطع باق رقم خطوة ومواضع في المصدر. سجل ما حذف وسببه. قارن تشخيص النسخة المختصرة بمراجعة بشرية للأدلة الكاملة على مجموعة صغيرة معلّمة. أضف تشغيلات ناجحة حتى تظهر الإنذارات الكاذبة.

في مثال توضيحي للإلغاء قد يقول رد الأداة "نجاح" مع أن قيداً سابقاً للمستخدم يجعل الإلغاء خاطئاً. احتفظ بالقيد والهدف المختار ونتيجة الفعل معاً. هذا اختبار مقترح وليس نتيجة جديدة مقاسة. تحتاج قواعد المجال مراجعة عند تغير شكل المخرجات أو المجال.

الحدود

التشخيص الأرخص مفيد إذا ظل يلتقط الإخفاقات المهمة. تقدم الورقة دليلاً على تحديد مشروط للموضع في مجموعتين صغيرتين من المسارات الفاشلة، لا كاشف إنتاج عاماً. سأقيس تغطية الكشف والإنذارات الكاذبة وتسامح تحديد الموضع والتكلفة منفصلة. رقم واحد يخفي المسارات التي لم يشر إليها النظام.