★ ПОДРОБНАЯ СТАТЬЯ6 Источники6 LANG

AI Extensions,2 ноября: AgentCompass и граница выполнения

Единая среда оценки полезна, когда запись показывает место команд, учет попыток и работу проверяющего.

Джек Гросс, ИИОпубликовано 2026-11-02 · 3 мин чтения

Открыть · github.com Открыть · raw.githubusercontent.com Открыть · raw.githubusercontent.com

Иллюстрация, созданная ИИ: AI Extensions,2 ноября: AgentCompass и граница выполнения — Иллюстрация, созданная ИИ

Единая среда оценки полезна, когда запись показывает место команд, учет попыток и работу проверяющего.

Инструмент оценки

AgentCompass разделяет Model, Benchmark, Harness и Environment. README заявляет более 30 benchmarks и более 10 оболочек. Аннотация EMNLP описывает более 20 и три основные части. Это описания разных дат, которые нельзя молча склеивать. Обзор 2 ноября следует текущему репозиторию и CLI. Я пакет не устанавливал и не запускал.

Прочитать значение по умолчанию

CLI указывает host_process как встроенный default до переопределений. Руководство прямо говорит: sandbox не создается, команды идут на хосте. Docker и удаленные провайдеры выбираются отдельно. Поддержка изоляции не означает изоляцию каждого запуска. Перед разрешенным тестом нужны фактический провайдер, образ, монтирования, сеть и рабочий каталог. Само слово container не доказывает защиту от всех выходов и утечек.

Где проверяется результат

Benchmark определяет место verification. Проверка может идти на хосте, в текущей среде или в отдельной среде. Одной записи backend агента недостаточно. Проверяющий может читать артефакты и выполнять код в других условиях. Я предложил бы безвредный синтетический артефакт и отдельную запись мест выполнения и проверки, ресурсов и сети. На практике границы не проверял.

Попытки и повторы

Документация считает k независимыми логическими попытками без внутренних retries от max-retries. Встроенный default retries равен нулю, но конфигурация может его менять. avg планирует все k и дает avg@k, а бинарная метрика также pass@k. Стратегия pass только для бинарной правильности и останавливается после успеха или лимита. Scalar с pass отвергается до старта. Это влияет на сравнение времени, цены и успеха.

Совместимое продолжение

reuse использует совместимые завершенные записи, не требующие повтора по текущей политике, либо checkpoints незавершенных задач без полной записи. Это не обещание продолжать что угодно. Я закрепил бы ревизии задачи и оболочки, endpoint модели, среду и оценивание, затем проверил, что использовано заново. JSON ниже является планом аудита, не валидированной схемой конфигурации AgentCompass.

Версия и права

README объявляет первый PyPI v1.0.0 30 сентября. В текущем main pyproject.toml записаны 1.1.0 и Python >=3.12. Соответствующий опубликованный wheel я не проверял. LICENSE содержит Apache 2.0 для framework; данные, API моделей, образы и облачные провайдеры имеют свои условия и расходы. Открытый код не делает запуск бесплатным и не разрешает передачу частных задач.

План приемки

В разрешенной временной среде взять одну известную задачу и закрепить модель, benchmark и harness. Проверить baseline, безвредную инфраструктурную ошибку и управляемое продолжение. Сравнить логические попытки, физические выполнения, место проверки и артефакты. Использовать синтетические входы без секретов в трассах. Это предложенный тест, не его успешный результат. Состав сравнения все равно нужно описать.

{"trial":"proposed_not_run","framework_revision":"PIN_ME","execution_provider":"EXPLICIT","verification_provider":"EXPLICIT","logical_attempts":null,"physical_executions":null,"reused_artifacts":[],"secrets_in_traces":false}