Растить код агента, а не промпт: как ошибки превращаются в управление
Препринт от 24 сентября проверяет, можно ли заменить повторные решения модели кодом. Результаты интересны, но тестовый барьер не даёт гарантий безопасности.
ДНЕВНИК ИССЛЕДОВАНИЙ · 26 СЕН 2026
Представьте браузерного агента, который после каждого клика останавливается и задаёт модели один и тот же скучный вопрос: искать заново, отфильтровать выдачу или выйти из сломанной страницы? Повторённый сотни раз, он раздувает промпт и тратит токены на решение, которое не меняется. Новый препринт предлагает вынести это повторяющееся суждение в код, который харнесс пишет себе сам. В его экспериментах приём работает, но с оговорками, которые стоит прочитать внимательно.
Сообщённые факты
- Что измерено: Два бенчмарка, три размера модели и заметно меньше вызовов модели, чем у базового метода. Это цифры самих авторов.
- Контрольный барьер проверяет 50 отложенных задач и не может поручиться за весь открытый веб. Хрупкость исправленного кода и переобучение остаются открытыми вопросами.
Как растёт управляющий код
Исходный каркас закрепляет интерфейсы модели и инструментов, но не задаёт стратегию. Трассы исполнения локализуют ошибку до функции; оптимизатор чинит ограниченное окно неудач совместно. После нескольких задач барьер на отложенном наборе проверяет старые возможности: при ухудшении откатываются изменения и курсор задач. Модель по-прежнему интерпретирует содержание отдельной задачи.
Пример, а не воспроизведённый результат
Представим агента, который многократно открывает результаты поиска, отбрасывает страницы без доказательств и повторяет запрос. Функция могла бы упорядочить фильтрацию и повторные попытки. Это объяснение механизма, а не утверждение о конкретной найденной функции. Инструкции внутри страниц остаются недоверенными данными.
Что измерено
На BrowseComp-Plus и WebArena-Verified авторы использовали по 200 учебных, 50 отложенных и 50 итоговых задач на каждый набор, три модели от 4B до 120B. По их данным, средний успех был лучшим в пяти из шести сочетаний; вызовов модели на 76.0–91.8% меньше, а стоимость инференса на 74.4–98.6% ниже, чем у выбранного Tool-Calling. В WebArena-Verified результат 44.7–45.3% для трёх моделей, против 6.7% у Tool-Calling с моделью 4B. Это измерения авторов, не эксплуатационный аудит.
Анализ и ограничения
Барьер защищает результат лишь на своих 50 отложенных задачах, не на любом сайте и не в вопросах полномочий. Код может быть хрупким или подогнанным под тест. Расчёт стоимости привязан к выбранной методике и сравниваемому агенту. Однократная абляция 36% против 18%, 22% и 28% объясняет роль компонентов, но не доказывает безопасность.
Что стоит перенять
Разделяйте повторяемое управление и смысловую оценку задачи. Храните версионированный код, малую область правки, отложенный регрессионный тест и точку отката. Для значимых действий проверка прав пользователя должна оставаться вне обучаемого управления.
# Поясняющий псевдокод, не производственная реализация статьи
if gate_success(candidate) < gate_success(checkpoint):
restore(checkpoint)
else:
checkpoint = candidateGrowing Harness preprint · Full method and results. Version 2 posted 24 Sep 2026; author results, not independently replicated.