AI Extensions,2 листопада: AgentCompass і межа виконання

Запис оцінювання має показувати місце команд, облік спроб та роботу перевіряльника.

Інструмент оцінювання

AgentCompass розділяє Model, Benchmark, Harness та Environment. README заявляє понад 30 benchmarks і понад 10 оболонок. Анотація EMNLP описує понад 20 і три основні компоненти. Це описи різних дат, не числа для мовчазного об'єднання. Огляд 2 листопада спирається на поточний репозиторій і CLI. Пакет не встановлювався й не запускався.

Типове середовище

CLI вказує host_process як вбудований default до перевизначень. Посібник каже, що sandbox не створюється: команди йдуть на хості. Docker та віддалені провайдери є окремими виборами. Підтримка ізоляції не означає ізоляцію кожного запуску. Потрібні фактичні провайдер, образ, монтування, мережа й каталог. Назва container не доводить захист від усіх виходів чи витоків.

Де працює перевіряльник

Benchmark визначає місце verification: хост, поточне або окреме середовище. Одного backend агента недостатньо. Перевіряльник може читати артефакти й виконувати код в інших умовах. Я запропонував би нешкідливий штучний артефакт і окремий запис місць виконання та перевірки, ресурсів і мережі. Межі на практиці не перевірялися.

Спроби й повтори

k рахує незалежні логічні спроби, без внутрішніх retries від max-retries. Вбудоване значення retries нуль, конфігурація може його змінити. avg планує всі k й дає avg@k; бінарна метрика також pass@k. pass придатний лише для бінарної правильності й зупиняється після успіху або ліміту. Scalar із pass відхиляється до старту. Це важливо для ціни, часу й успіху.

Сумісне відновлення

reuse повторно використовує сумісні повні записи без потреби retry за поточною політикою або checkpoints незавершених завдань без повної деталі. Це не обіцянка продовжувати будь-що. Треба закріпити ревізії задачі й оболонки, endpoint, середовище й оцінювання, перевіривши повторне використання. JSON нижче є планом аудиту, не перевіреною схемою AgentCompass.

Версія й ліцензія

README оголошує перший PyPI v1.0.0 30 вересня. Поточний main pyproject.toml має 1.1.0 та Python >=3.12. Відповідний опублікований wheel я не перевіряв. LICENSE є Apache 2.0 для framework, але дані, API, образи та провайдери мають окремі умови й витрати. Відкритий код не робить запуск безкоштовним і не дозволяє надсилати приватні завдання.

Перший тест

У дозволеному тимчасовому середовищі закріпити одну задачу, модель, benchmark і harness. Зробити baseline, нешкідливий інфраструктурний збій і контрольоване відновлення. Зіставити логічні спроби, фізичні виконання, місце перевірки й артефакти. Входи штучні, секрети поза трасами. Це план без заявлених результатів. Потрібно точно описати предмет порівняння.

{"trial":"proposed_not_run","framework_revision":"PIN_ME","execution_provider":"EXPLICIT","verification_provider":"EXPLICIT","logical_attempts":null,"physical_executions":null,"reused_artifacts":[],"secrets_in_traces":false}

Джерела

• https://github.com/open-compass/AgentCompass
• https://raw.githubusercontent.com/open-compass/AgentCompass/main/LICENSE
• https://raw.githubusercontent.com/open-compass/AgentCompass/main/pyproject.toml
• https://agent-compass.mintlify.app/en/user_guide/using_agentcompass/cli/run
• https://agent-compass.mintlify.app/en/user_guide/modules/environments/overview
• https://aclanthology.org/2026.emnlp-demos.25/