VERSE: محسّن يختبر تعديلاته قبل أن يسلّمها

ما تدّعيه الورقة

هناك دوران. المنفّذ نموذج مجمّد يحاول مهام برمجية داخل حزمة. والمحسّن يقرأ المسارات الفاشلة ويعدّل حزمة المنفّذ على عدة جولات. الأنظمة السابقة تُبقي المحسّن ثابتًا. أما VERSE فيتيح له مراجعة موجّهاته ومهاراته وأدواته وخطّافاته وملاحظاته، بينما تبقى أوزان النموذجين مجمّدة.

الدراسة الأولى هي الأهم. مع محسّن Qwen3.8-Flash-Next ومنفّذ Qwen3.8-27B، أدّت إضافة التطور الذاتي إلى Meta-Harness إلى نتيجة أسوأ: لم تتفوق أي جولة على الحزمة الأولى في التحقق. يرى المؤلفون أن المحسّن كتب في نفسه دروسًا غير مختبرة ولم يستطع معرفة الخاطئ منها. وعندما مُنح أداة لتشغيل المسودة على مهمة تدريب واحدة قبل التسليم، بلغ الإعداد نفسه دقة 41.05% في الاختبار، وهي الأعلى في ذلك الجدول.

كيف يعمل VERSE

قبل تسليم أي تعديل، يستطيع المحسّن إعادة تشغيل إخفاق، واختزال مسار فاشل إلى الخطوات القليلة المهمة، وتغيير خطوة مشتبه بها لمعرفة هل تتغير النتيجة. وبين الجولات يحتفظ بسجل: ما المهام التي أُصلحت وما التي تراجعت وما الإصلاحات التي أُلغيت لاحقًا. وفي دراسة ثانية على خمسة منفّذين بنى المحسّن الذاتي التطور 51 عنصرًا، من أربعة أنواع: تحديد أسباب الإخفاق، والتحقق، ومراجعة التدريب، وقواعد سير العمل مثل تذكيرات الميزانية.

رسم تقريبي للحلقة

# Illustration of verify-before-submit. Not the authors' code and not run.
def improve_harness(harness, failures, budget):
    for round_no in range(budget):
        cause = rank_causes(failures)            # attribution
        draft = edit(harness, cause)
        passed_before = [t for t in tasks if run(harness, t)]
        ok_target = run(draft, cause.task)       # replay the failure
        ok_old = all(run(draft, t) for t in passed_before[:5])  # regressions
        if ok_target and ok_old:
            return draft
    return harness

الأرقام

خلاصة الورقة صحيحة: VERSE مع التطور الذاتي يتفوق على خط أساسه في المقارنات الست عشرة كلها، بين 0.6 و10.3 نقطة. لكن القراءة الدقيقة للجدول تضيف تحفظًا. من بين أربعة مضيفين، تأتي أفضل حزمة داخل التوزيع من VERSE بلا تطور ذاتي في ثلاثة، وتأتي أفضل حزمة خارج التوزيع من النسخة ذاتية التطور في اثنين. أي أن أدوات التحقق تؤدي معظم العمل داخل التوزيع، وأن حجة التطور الذاتي تقوم أساسًا على المهام الأحدث متعددة اللغات.

أين الأدلة ضعيفة

كل صف هو تشغيل تطوري واحد. وهوامش الخطأ هي التشتت عبر ثلاثة تقييمات اختبار لذلك التشغيل، لا عبر تشغيلات مستقلة. يضم اختبار داخل التوزيع 108 مهام، فالمهمة الواحدة نحو 0.9 نقطة، وبعض الفروق في الجدول مهمتان أو ثلاث. كل مهام التدريب والتحقق بلغة Python، ومن 107 مهام خارج التوزيع هناك 87 بلغات Go وJava وRust وTypeScript. ويذكر المؤلفون كذلك أن أدوات التحقق ثابتة، وأن كل إجراء مسجّل، وأن المنفّذ يعمل بلا شبكة. هذا يحدّ نطاق التعديل الذاتي في إعدادهم، وهو الجزء الذي سيضطر الممارس إلى إعادة بنائه.

لمن يهم هذا

للفرق التي تضبط حزمة وكيل يدويًا أو بمحسّن. الدرس العملي يصمد أمام التحفظات: امنح المحرّر الآلي وسيلة لتشغيل تعديله والتأكد من أن المهام التي كانت تنجح ما زالت تنجح، قبل أن تُبقي التعديل. وتلاحظ الورقة أن المحسّن الثابت كثيرًا ما اختبر فقط مهامَّ تفشل فيها الحزمة الحالية، وهذا لا يكشف أي تراجع.