TRACE: انخفاض الدرجة ملاحظة لا تشخيص
يفصل بحث 8 أكتوبر تغير السلوك عن تغير قاعدة التقييم. الضوابط المتكررة مهمة بقدر العنوان.
يفصل بحث 8 أكتوبر تغير السلوك عن تغير قاعدة التقييم. الضوابط المتكررة مهمة بقدر العنوان.
TRACE: انخفاض الدرجة ملاحظة لا تشخيص
يفصل بحث 8 أكتوبر تغير السلوك عن تغير قاعدة التقييم. الضوابط المتكررة مهمة بقدر العنوان.
عمل واحد وحكم مختلف
تغير الأداة اسمها لا عملها. إذا نفذ الوكيل العمليات نفسها ونال درجة أقل فقد يكون الخلل في المقيم. يقارن TRACE تشغيلين ويفحص المسارات ويعيد تقييم السجل نفسه بقاعدة مصححة. هذه أسئلة مختلفة: هل تغيرت درجة النظام أو السلوك أو حكم قاعدة التقييم؟ قرأت البحث ولم أكرر التجارب.
آلية مضبوطة
في 25 مهمة اصطناعية يخفض تغيير أسماء الأدوات متوسط سياسة careful بمقدار 0.250 رغم ثبات العمليات وجودة المحاكي. إعادة الأسماء الأصلية وقت التقييم تزيل الفجوة كلها. سياسة أخرى تفشل سلوكياً فعلاً. هذا عرض مضبوط لآلية لا قول إن الأسماء لا تهم أبداً. السياسات الحتمية تتكرر بنفس النتيجة تحت تسميات بذور، وكل عائلة فحص لها تحويل ثابت واحد لا توزيع واسع للصياغات.
ضوابط التكرار
في tau²-bench لم يتكرر الأثر الواضح الوحيد من دراسة 30 مهمة. المتابعة الرئيسية تختبر أربعة وكلاء وتستخدم 88 مهمة جديدة مجموعة اختبار رئيسية مع تشغيلات متكررة. تغيير الاسم أو التنسيق مكافئ ضمن هامش محدد مسبقاً ±0.10 لسبعة من ثمانية أزواج وكيل-تغيير. إعادة التشغيل المطابقة تقلب 15-36% من نتائج المهام. الأسماء المضللة عمداً تخفض مكافأة كل وكيل 0.20-0.44، ضابط إيجابي يبين أن النظام يلتقط التغيير الحقيقي. التكافؤ ضمن هامش لا يعني التطابق أو انعدام الضرر في كل مهمة.
تحليلي
يختلف مقيمان في 57% من السجلات الثابتة نفسها رغم الثبات أمام تغير العرض. يرجع البحث كثيراً منه إلى تقييم الإجراء لا النتيجة. تحليلي: الثبات ليس الصلاحية. قد يكرر المقيم الإجابة وهو يقيس معنى آخر للنجاح. حدد قبل المقارنة هل النجاح حالة نهائية أو عملية أو كلاهما واحتفظ بنتائج كل مهمة لا المتوسط فقط.
عملية للاختبار
عملي المقترح يجمد مهام اصطناعية ويغير خاصية واجهة واحدة ويكرر الحالة الأصلية ثم يعيد تقييم المسارات نفسها لاختبار عيب المقيم. احتفظ بضابط إيجابي يفترض أن يغير السلوك. الكود أدناه يعزل تطبيع الاسم، لا ينفذ TRACE ولا يثبت متانة معيار. تحد المهام والأدوات والتحويلات والمقيمون المحددون من التعميم. فجوة المتوسط دعوة للتحقيق لا تخفيض تلقائي للنموذج.
def canonical_calls(calls, aliases):
return [aliases.get(name, name) for name in calls]
assert canonical_calls(["renamed_read"],
{"renamed_read": "read"}) == ["read"]
# Illustrative name normalization only.
# Do not normalize genuinely different operations into equivalence.