ExplorationBench: حين يحتاج الوكيل إلى اكتشاف القواعد

RESEARCH DIARY · 27 SEP 2026

يقول الدليل إن المواضع تبدأ من الصفر. وحين نطلب من الأداة الموضع واحد تعيد الحرف الثاني، وهذا يوافق الدليل. ثم تفعل شيئًا لم يذكره الدليل قط. هل يثق الوكيل بالوثيقة، أم يطرح الأداة، أم يصمم اختبارًا أنظف؟ يحوّل ExplorationBench هذه المعضلة إلى درجة، عبر عالمين قابلين للتنفيذ تناقض قواعدهما الخفية عن قصد القواعد المألوفة. إنها ورقة تمهيدية بتاريخ 24 سبتمبر عن عوالم برمجية، لا عن مختبرات حقيقية.

بروتوكول الاختبار

AlienCode لغة صغيرة فيها 31 قاعدة مستهدفة بالاكتشاف، وAlienLogic نظام براهين فيه 24. لكل عالم 70 مهمة محجوبة عن مرحلة الاستكشاف. يحصل النظام على دليل معيب وأمثلة ثابتة ومخطط لاستدعاء الأداة. يختار تجاربه في أربع جولات؛ وعند كل محطة يصف القواعد ويحل المهام من دون أدوات. اختبر الباحثون عشرة أنظمة بثلاثة مسارات مستقلة لكل عالم. Best@3 هو أفضل مسار نهائي من ثلاثة، وليس أداء التشغيل المعتاد.

تجربة تميز الفرضيات

في AlienCode تخضع الأعداد الصحيحة لعملية XOR مع 27، لذلك تطبع EMIT(100) العدد 127. وتحسب PLUCK المواقع من واحد خلافاً للدليل. قارن EMIT(100) بـ EMIT(101)، ثم اختبر موقعين متجاورين في PLUCK. غيّر عاملاً واحداً كل مرة؛ ناتج غريب واحد لا يحدد القاعدة. الغرض من التجربة تمييز فرضيتين متنافستين.

النتائج كما يذكرها الباحثون

بلغ أفضل مسار في AlienCode نسبة 87.6% بعد أربع جولات، مقابل 0.5–11.0% لعدد مماثل من الخطوات بلا تغذية راجعة من البيئة. إعادة تقديم أفضل التجارب بترتيب ثابت تخفض الدقة عند 9 من 10 أنظمة. تدخل قاعدتا اختلاف الفهرسة في 51 من 70 مهمة، لكن الأنظمة حلت 70.9% فقط من المسائل التي وصفت قواعدها المطلوبة وصفاً صحيحاً. في AlienLogic أدى إعطاء كل القواعد إلى 93–97%، أعلى من الاستكشاف الذاتي. هذه نتائج المؤلفين ولم نكررها مستقلاً.

لماذا لا تكفي درجة واحدة

قد تختلف النتيجة النهائية لمسارات النظام نفسه والميزانية نفسها بما يصل إلى 72.8 نقطة مئوية. انتهت ستة مسارات من أصل 30 في AlienCode أقل بثلاث نقاط على الأقل من محطة سابقة. يقيس Best@3 إمكان نجاح واحدة من ثلاث محاولات، لا ما سيحدث في المحاولة التالية. اعرض توزيع النتائج والدرجة الأولية وتطور كل محطة. وذكر البحث أن ارتباط ترتيب الأنظمة بين العالمين يبلغ 0.35.

تحليل واختبار عملي

قراءتي: يفصل هذا الاختبار بين اختيار الدليل وتطبيق القاعدة أفضل من سؤال ثابت. في بيئة محلية، أخف تغييراً واحداً في محلل، وقدّم مواصفة قديمة، وسجل كل استعلام ثم اختبر عشرة مدخلات لم يرها الوكيل بعد كل جولة. كرر ببدايات مختلفة وقارن تسلسل الوكيل بتسلسل ثابت وبوضع بلا تغذية راجعة. لا تسمح للوكيل بتعديل المصحح أو القواعد المخفية. الشيفرة أدناه توضيح للقياس وليست تنفيذ الورقة.

الحدود

العالمان اصطناعيان وحتميان، وتصحح الإجابات أداة تنفيذ أو فاحص براهين. القياسات العلمية الحقيقية قد تكون مشوشة ومتغيرة ولا تتوفر لها حقيقة نهائية مؤكدة. لا تثبت الورقة اكتشاف قانون علمي حقيقي. وصف القاعدة لا يضمن تطبيقها بدقة أو التصرف بأمان.

شيفرة توضيحية لا شيفرة الدراسة

# Explanatory pseudocode: do not expose held-out answers
for step in range(4):
    observation = world.run(agent.choose_probe(history))
    history.append(observation)
    score[step] = grader.check(agent.answer(test_tasks, tools=False))
report(score, all_trajectories=True)

المصدر والحالة: ExplorationBench, arXiv:2609.30199 · full text. 24 Sep 2026, preprint; author-reported results.