هل يتفوق فريق من ثلاثة وكلاء على وكيل واحد مُطوَّر؟ ورقة تقول لا، عند التكلفة نفسها

ماذا تدّعي الورقة

يبني المؤلفون MA-Evolve. نموذج واحد مجمّد هو Qwen2.5-7B-Instruct يؤدي كل الأدوار، فلا يملك أي دور عقلًا أقوى من غيره. الذي يتغيّر هو موجّه كل دور فقط، ويُضبط دورًا بعد دور. قبل التطوير يحلّ الوكيل العادي 0.657 من 134 مهمة محجوزة في ALFWorld. وبعد تطوير موجّه المنفّذ وحده يحلّ 0.754 (ماكنمار 20 مقابل 7، p = 0.021). والموجّه مقروء: افتح الوعاء المغلق قبل الأخذ منه، وخذ قبل أن تضع، واستخدم قوالب الإجراءات بدقة، وأكّد خطوات التبريد والتسخين والاستخدام.

الفريق الكامل يبلغ 0.769. مقابل الوكيل الواحد المُطوَّر هذا فارق +0.015 (9 مهام مقابل 7، p = 0.80). وفي WebShop، بـ80 جلسة محجوزة ودرجة متدرجة، لا يفيد التطوير (0.245 مقابل 0.242) ويميل الفريق إلى الأسوأ، 0.185، مع أن p = 0.12 تعني أن هذا أيضًا غير مثبت.

لماذا لا يضيف الفريق شيئًا هنا

الورقة تقيس ذلك. موجّها المخطِّط والمنتقِد المُطوَّران انتهيا فارغين أو شبه فارغين. وحين عملا غيّر المخطِّط إجراء المنفّذ في 14% من الحالات والمنتقِد في 41%. فمكسب الفريق على الأساس هو مكسب المنفّذ، مع استدعاءين إضافيين في كل خطوة. ويرى المؤلفون أيضًا أن ميزانية الاستدعاءات الثابتة تجوّع البحث: إذا قُسّمت على ثلاثة أدوار نال كل دور ثلث المحاولات.

حيث تضعف الأدلة

• نموذج واحد مجمّد بسبعة مليارات معامل. قد يترك نموذج أكبر، أو نماذج مختلفة لكل دور، مجالًا لمنتقِد حقيقي. يقول المؤلفون ذلك ولا يدّعون أن النتيجة تنتقل.
• بنية واحدة ومحسّن واحد. المناظرة والتجميعات والبحث المشترك في الموجّهات والبنية خارج النطاق.
• تقييم جشع واحد لكل حالة، وفترات ثقة بإعادة العينة على المهام لا تكرار للتشغيل. معياران فقط.
• نظام الحالة المثلى الذي يحدّ عدد التجارب لا الاستدعاءات مذكور للفريق فقط، لأن تشغيلات الأدوار تعطلت بسبب خلل في المخطِّط. ويذكر المؤلفون ذلك.

قراءة حذرة: على نموذج صغير وبميزانية استدعاءات ثابتة، لا تضف دورًا قبل أن تُثبت أنه يغيّر إجراءً. وتقدّم الورقة العدّادات لذلك، أي نسبة المرات التي يغيّر فيها الدور اختيار المنفّذ.