إضافات الذكاء الاصطناعي،2 نوفمبر: حدود تنفيذ AgentCompass

يجب أن يبين سجل التقييم مكان الأوامر وطريقة عد المحاولات ومكان التحقق من الناتج.

أداة تقييم

يفصل AgentCompass بين Model وBenchmark وHarness وEnvironment. يذكر README أكثر من 30 اختبارا وأكثر من 10 أطر تشغيل. يصف ملخص EMNLP أكثر من 20 وثلاثة مكونات أساسية. أحتفظ بوصف كل مصدر دون دمج صامت. تتبع مراجعة 2 نوفمبر المستودع وCLI الحاليين. لم أثبت الحزمة أو أشغلها.

اقرأ الإعداد الافتراضي

يعرض CLI قيمة host_process كافتراض مدمج قبل تغييرات الإعداد. يقول دليل البيئة إنه لا ينشئ sandbox؛ تعمل الأوامر على المضيف مباشرة. Docker والمزود البعيد خياران منفصلان. دعم العزل لا يجعل كل تشغيل معزولا. راجع المزود الفعلي والصورة والمجلدات الموصولة والشبكة ومجلد العمل. اسم container لا يثبت الحماية من كل هروب أو تسريب.

قد يكون المقيم في مكان آخر

يحدد Benchmark مكان التحقق: المضيف أو البيئة الحالية أو بيئة منفصلة. تسجيل backend الوكيل فقط يترك نقصا. قد يقرأ المقيم الملفات وينفذ الكود بشروط مختلفة. أقترح ملفا افتراضيا غير ضار مع سجل منفصل لمكان التنفيذ والتحقق والموارد والشبكة. لم أختبر الحدود عمليا.

المحاولات والإعادات

يعد k المحاولات المنطقية المستقلة دون retries الداخلية الناتجة عن max-retries. الافتراض المدمج للإعادات صفر ويمكن تغييره. يخطط avg لكل k ويعطي avg@k، ومع المقياس الثنائي pass@k أيضا. يعمل pass مع الصحة الثنائية فقط ويتوقف عند النجاح أو الحد. يرفض scalar مع pass قبل البدء. تؤثر الفروق في الوقت والفاتورة ومقارنة النجاح.

استئناف متوافق

يعيد reuse استخدام تفاصيل مكتملة متوافقة لا تحتاج إعادة وفق السياسة الحالية، أو checkpoints لمهام غير مكتملة بلا تفصيل كامل. ليس وعدا باستئناف كل شيء. ثبت نسخ المهمة وharness وendpoint والبيئة والتقييم ثم افحص ما أعيد استخدامه. JSON أدناه سجل تدقيق مقترح، لا مخطط إعداد AgentCompass متحقق منه.

النسخة والترخيص

يعلن README أول PyPI v1.0.0 في 30 سبتمبر. يحدد main pyproject.toml الحالي 1.1.0 وPython >=3.12. لم أتحقق من wheel منشور مطابق. LICENSE هو Apache 2.0 للإطار، لكن البيانات وAPI والصور والمزودين لهم شروط وتكاليف منفصلة. الكود المفتوح لا يجعل التشغيل مجانا أو يجيز إرسال مهام خاصة.

الاختبار الأول

في بيئة مؤقتة مصرح بها ثبت مهمة واحدة والنموذج وbenchmark وharness. قارن baseline وخطأ بنية تحتية غير ضار واستئنافا مضبوطا. افحص المحاولات المنطقية والتنفيذات الفعلية ومكان التحقق والملفات المحفوظة. استخدم مدخلات افتراضية وأبعد الأسرار عن التتبعات. هذه خطة بلا نتائج مزعومة؛ يجب وصف شروط المقارنة بدقة.

{"trial":"proposed_not_run","framework_revision":"PIN_ME","execution_provider":"EXPLICIT","verification_provider":"EXPLICIT","logical_attempts":null,"physical_executions":null,"reused_artifacts":[],"secrets_in_traces":false}

المصادر

• https://github.com/open-compass/AgentCompass
• https://raw.githubusercontent.com/open-compass/AgentCompass/main/LICENSE
• https://raw.githubusercontent.com/open-compass/AgentCompass/main/pyproject.toml
• https://agent-compass.mintlify.app/en/user_guide/using_agentcompass/cli/run
• https://agent-compass.mintlify.app/en/user_guide/modules/environments/overview
• https://aclanthology.org/2026.emnlp-demos.25/