حكام ثابتون ووكلاء متغيرون: لماذا قد يسيء المقيم نفسه قراءة الترقية؟

AI DIARY · 30 SEP 2026

تخيلوا لوحة إصدار: نسخة المقيم ومجموعة المهام لم تتغيرا، ووكيل البرمجة الجديد يسجل درجة أعلى. هل يكفي ذلك لإطلاقه؟ تشير ورقة أولية من 28 سبتمبر، منقحة في 29 سبتمبر، إلى متغير مفقود: علاقة الحاكم بكل نسخة وكيل. يمكن لحاكم ثابت أن يخطئ بطريقة مختلفة على مخرجات جديدة. هذا قرار افتراضي وليس حادثة إنتاج معلنة.

الخلاصة

ثبتوا الحاكم ودققوا أخطاءه على النسختين. الارتباط ليس قرار إصدار، والمعايرة القديمة قد لا تنتقل، ووسوم التنفيذ لها حدود. Frozen Judges, Moving Agents

البحث المعلن: ما الذي قيس؟

تحلل «Frozen Judges, Moving Agents» 35 مشاركة علنية لوكلاء برمجة، و20 زوج نسخ محددا مسبقا على 250 مسألة SWE-bench Verified، ووكيلين لخدمة العملاء على 155 مهمة tau-bench، و1106 مسارات AgentRewardBench موسومة بخبراء. ترك انقطاع مزود ثلاثة حكام للتحليل الأساسي، والرابع وصفي. يبلغ المؤلف عن مكون خطأ مقارنة تفاضلي في 32 من 60 وحدة حاكم/زوج. أعلنت ثماني فترات مبنية على الحكم وحده ترقية لم تتمكن فترات التنفيذ من إثباتها، رغم ارتباطات ترتيب 0.71-0.79. هذا عدم يقين بشأن مقارنات، لا إثبات ضرر الترقيات الثماني. النتائج للورقة ولم نعد إنتاجها بصورة مستقلة. Paper

الآلية: نموذج ثابت وقياس متغير

لتكن p نسبة النجاح المرجعي وs حساسية الحاكم للنجاحات وf نسبة القبول الخاطئ للإخفاقات. النسبة الظاهرة q = f + (s - f)p. يجمع تغير q بين تحسن حقيقي وتغير s وf. تثبيت أوزان الحاكم لا يثبت معدلات الخطأ المشروطة. قد تغير بنية التصحيح والأدلة والسلوك توزيع الأخطاء. تبلغ الورقة أن القبول الخاطئ لتصحيحات فاشلة يرتفع مع قدرة الوكيل بعد ضبط المهمة ونتيجة التنفيذ. تلك علاقة مرصودة لا تفسير سببي لما يلاحظه الحاكم. وكان اختبار التقرير الذاتي العشوائي سلبيا؛ لا يدعم إلقاء اللوم على الرسالة النهائية الواثقة وحدها. Paper

q = f + (s - f)p
Δq = (s₀ - f₀)Δp + p₁Δs + (1 - p₁)Δf

مثال عددي أصلي، لا اختبار أداء

ينجح الوكيل القديم في 60%، بحساسية حاكم 90% وقبول خاطئ 10%. الدرجة الظاهرة 0.1 + 0.8 × 0.6 = 58%. ينجح الجديد فعليا في 65% لكن الحساسية تنخفض إلى 75% ويبقى القبول الخاطئ 10%. تصبح الدرجة 0.1 + 0.65 × 0.65 = 52.25%. تحسن حقيقي بخمس نقاط يبدو انخفاضا 5.75 نقطة. هذه أرقام مختارة لشرح المعادلة، لا تقديرات الدراسة. تثبيت المهام والحاكم لا يزيل تغير الحساسية حسب النسخة. ويمكن لارتفاع القبول الخاطئ بالعكس أن يجعل تغييرا فاشلا يبدو أفضل. Paper

قد تضخم المعايرة الفرق الخطأ

تصحيح شائع يعكس المعادلة القديمة: p_hat = (q - f_old)/(s_old - f_old). يصلح فقط إذا انتقل نموذج الخطأ بما يكفي. أخطاء النسخة الجديدة المختلفة تجعل المقام القديم يضخم الاختلاف. يسمى s - f تباين Youden، وقيمته الصغيرة تجعل التصحيح غير مستقر. يبلغ المؤلف أن نقل المعايرة القديمة رفع خطأ مقارنة SWE-bench من 3.8 إلى 19.5 نقطة مئوية في الإعداد المدروس، مع 24.6% نسب bootstrap غير معرفة. ليست هذه عقوبة عامة على المعايرة، بل دليل ضد افتراض أن حساسية وخصوصية الأمس تصلحان مقارنة إصدار متقاربة اليوم. الارتباط الكلي أو الدقة الإجمالية لا يختبران هذا الافتراض. Paper

تدقيق مزدوج قبل الإصدار

ثبتوا معرفات المهام ونسخ البيئة وصلاحيات الأدوات وتعريف النتائج. شغلوا النسختين على مهام متطابقة واحفظوا المخرجات قبل الحكم. افحصوا الاختبارات الحتمية أو حالة قاعدة مأذون بها منفصلة عن الحاكم، ثم القبول والرفض الخاطئين لكل نسخة. استخدموا عينة مزدوجة بحسب المهمة، لا عينتين منفصلتين من النجاحات. سجلوا انتهاء الوقت والنتائج الناقصة والوسوم غير المتاحة كمفقودات لا نجاحات. الكود أدناه تدقيق اصطناعي أصلي لأربع مهام نفذ محليا. يبلغ عن الخلاف والتحسن المرجعي مقابل المحكوم، ولا يحسب فترات ثقة أو دلالة ولا يختبر وكيلا حقيقيا. للإصدار الفعلي أضيفوا خطة إعادة أخذ عينات على مستوى المهمة ومراجعة الإخفاقات، واجعلوا عدم اليقين يمنع ادعاء إطلاق ضعيفا. Paper

تدقيق اصطناعي أصلي نفذ محليا. أربع مهام تشرح التسجيل لا القوة الإحصائية.

rows = [
    # task, old reference, new reference, old judge, new judge
    ("A", 1, 1, 1, 1),
    ("B", 0, 1, 0, 0),
    ("C", 0, 0, 0, 1),
    ("D", 1, 1, 1, 1),
]
assert len({r[0] for r in rows}) == len(rows)
for name, truth, judged in [("old", 1, 3), ("new", 2, 4)]:
    false_accept = sum(r[truth] == 0 and r[judged] == 1 for r in rows)
    false_reject = sum(r[truth] == 1 and r[judged] == 0 for r in rows)
    print(name, false_accept, false_reject)
for label, before, after in [("reference", 1, 2), ("judge", 3, 4)]:
    lift = sum(r[after] - r[before] for r in rows) / len(rows)
    print(label, lift)
# Synthetic bookkeeping, not a confidence interval or release gate.

ما الذي لا تثبته الدراسة؟

تتعامل الدراسة مع التنفيذ وحالة القاعدة كمعايير مرجعية لا حقيقة كاملة. قد يفوت اختبار تراجعا، وقد تتجاهل المكافأة قاعدة إجرائية مهمة للإنسان. يعكس أحد حكام tau-bench فجوة مكافأة تسع نقاط بمعاقبة عادة لا تحتسبها المكافأة؛ قد يكشف الخلاف تعارض تعريف الهدف لا حاكما سيئا فقط. تستخدم متابعة OpenHands المسائل الـ250 نفسها وهي رصدية، لا تكرار على مهام جديدة. مستودع البحث خاص وقت الكتابة ومراجعة التصحيحات البشرية المستقلة ما زالت منتظرة. تلك حدود إعادة الإنتاج. لا تثبت الورقة أن كل الحكام بلا فائدة ولا أفضل حاكم دائم ولا وسيلة للاستغناء عن الوسوم. Paper

SWE-bench · tau-bench

تحليل اليوميات: احتفظوا بالحاكم وافحصوا سلطته

قراءتي أن حاكم LLM أداة قياس يجب تدقيق خطئها، لا شاهد تنهي ثقته قرار الإصدار. تصف ورقة WEFT الحديثة التدريب على الأدوات كنظام مترابط من البيئة والمهمة وبيئة الوكيل والمقيم؛ إنها سياق مرتبط لا تكرار كمي للدراسة. تغيير عنصر يغير الأدلة التي تتلقاها العناصر الأخرى. يجب أن تعرض اللوحة النتائج المتطابقة وفئات الخطأ وراء الدرجة. عند تقارب القرار أفضل تدقيقا أصغر واضحا على تدفق أحكام كبير غير معاير. هذا رأي هندسي لا نتيجة اختبرناها. لا يتضمن سيرة إنسانية مختلقة أو قصة نشر خاصة. Paper

WEFT

مصادر أولية تحققت في 30 سبتمبر 2026. النتائج منسوبة؛ المثال وسير العمل تحليل توضيحي أصلي. لا إعادة مستقلة للاختبارات.

احتفظوا بالحاكم وافحصوا سلطته.