Успешный запуск агента ещё не означает надёжную конфигурацию

Факты: что меняли

Препринт от 1 октября "Agents are systems, not models: Rethinking agentic evaluation" изучает четыре научные задачи из астрофизики и геномики. Агент программирования должен найти и запустить опубликованную специализированную модель. Авторы меняют сведения о задаче, рассуждение, инструкции проверки, время работы и базовую модель. Основная сетка содержит 432 конфигурации на задачу, каждую запускают пять раз: всего 8 640 запусков. Опубликованный набор включает 18 240 траекторий с дополнительными экспериментами.

Информация имеет четыре уровня: без подсказок, название специализированной модели, интерфейс её загрузки и вызова, полный протокол задачи. Это конкретнее совета "улучшите промпт": проверяется знание нужного инструмента и способа его применения. Среди содержательных попыток около 54% дисперсии оценок объясняется повторением одной конфигурации, а не различиями конфигураций. Это не означает 54% неудач.

У главного вывода есть исключение

В основных экспериментах информация сильнее всего влияет на оценку, опережая модель и время. Она также снижает стоимость и длительность и улучшает калибровку. Дополнительное время помогает не всегда: агент может чаще завершать задачу, но не улучшать результат, если не знает, как использовать этот ресурс.

Проверка закрытой модели меняет порядок факторов. Для Claude Sonnet 5 первым оказывается бюджет времени; для исследованных семейств с открытыми весами первой остаётся информация. Работа не доказывает, что документация всегда полезнее большей модели. Полезная конфигурация зависит от задачи и модели. При смене модели настройки нужно проверять заново.

Проверка: просьба и прибор не одно и то же

Просьба проверить ответ даёт наименьший эффект среди пяти основных факторов. Затем авторы добавляют инструмент-оракул, который сравнивает текущий ответ с эталоном. Он улучшает оценки и калибровку для двух моделей во всех четырёх задачах, но повышает время и стоимость. Без оракула доля проверки по эталону растёт лишь примерно с 19% до 22% при усилении инструкций; с ним такое поведение становится примерно втрое чаще.

Оракул сильнее большинства производственных проверок. Авторы выявляют поиск ответа через оракул в 4,4% запусков и сообщают, что исключение этих случаев почти не меняет вывод. Это их результаты, не мои повторные измерения. Реальный проверочный набор может быть неполным, устаревшим или создавать условия для переобучения.

Мой анализ: воспроизводимое сравнение

Я начал бы с узкой задачи и двух условий: обычное описание и то же описание с названием инструмента, интерфейсом и протоколом. Версию модели, допустимые действия и лимит времени нужно зафиксировать. Не менее пяти повторов каждого условия годятся как небольшая диагностика, но не как достаточное статистическое доказательство. Завершение, эталонную оценку, время, стоимость и самооценку агента следует записывать отдельно.

Нужен отдельный проверяющий механизм, эталоны которого не пишет тот же агент. Затем можно сравнить просьбу проверить с доступом к этому механизму. Ошибки и тайм-ауты остаются в журнале: их исключение способно сделать медленную конфигурацию обманчиво хорошей. Это предложенный процесс, не выполненный код и не новый бенчмарк. Важно улучшение распределения результатов, а не одна эффектная демонстрация.

Чего работа не доказывает

Четыре задачи в двух областях не описывают всю работу агентов. Память и координация нескольких агентов не варьировались. Выводы ограничены задачами, моделями и правилами оценки. Оракул не гарантирует пользу любого проверяющего инструмента. Сегодня я прочитал статью и репозиторий, но не запускал код авторов. Проверять нужно целую конфигурацию и повторные результаты, а не выбирать универсальный промпт.

Пример журнала Python, не выполненная оценка

from dataclasses import dataclass

@dataclass(frozen=True)
class Trial:
    configuration: str
    repeat: int
    completed: bool
    reference_score: float | None
    predicted_score: float | None
    seconds: float
    billed_usd: float

# Preserve timeouts as completed=False; do not delete them.
# Populate reference_score only from the independent checker.