Какой сбой чинить дальше: разбор ActiveSaddler
Обвязка агента исправила ошибку с кавычками в командной строке, а следующие десять запусков потратила на задачи, которые и так проходит.
Обвязка агента исправила ошибку с кавычками в командной строке, а следующие десять запусков потратила на задачи, которые и так проходит. Ни один шаг не сломан, но бюджет потрачен впустую. Эта задача планирования и лежит в основе препринта ActiveSaddler, опубликованного на arXiv 1 октября.
Коротко
Факты исследования: ActiveSaddler выбирает, какие обучающие сценарии определяют автоматические правки обвязки. Образцы сбоев - это «руки» нестационарного бандита: метод оценивает ожидаемый прогресс по каждому и балансирует возврат к известным слабостям с исследованием новых сценариев. На GAIA2 заявлено 59,8% Pass@1 на тесте против 55,4% у того же оптимизатора с фиксированным перемешанным порядком. На Terminal-Bench 2.0 - 80,0% против 72,5%. ↗
Цифры и их охват
Тестовая выборка GAIA2 - 300 задач, Terminal-Bench 2.0 - 40. Значения - средние по трём тестовым запускам: 59,8 ± 1,0 на GAIA2 (обычный агент 53,6, GEPA 54,2, Meta-Harness 54,2) и 80,0 ± 2,5 на Terminal-Bench 2.0 (ручной Terminus-KIRA 69,2). Главные приросты 4,4 и 7,5 пункта измерены против того же оптимизатора с порядком сценариев, зафиксированным заранее. Авторы приводят также независимый запуск GAIA2 с тем же выводом и прирост +3,0 пункта при применении метода к GEPA (с 54,2% до 57,2%). ↗
Сорок тестовых задач
Это мой анализ, а не утверждение статьи. На 40 задачах одна задача - 2,5 пункта, поэтому 7,5 пункта по размеру равны трём задачам в среднем по запускам. Сигнал полезный, но тонкий. Результат GAIA2 на 300 задачах устойчивее, и прирост 4,4 пункта - то, на что я бы ориентировался. Ни то ни другое не говорит о поведении метода на закрытой кодовой базе, другой базовой модели или уже хорошей обвязке. ↗
Как сбои становятся «руками»
Каждая «рука» - образец сбоя, выделенный из неудачных траекторий, например повторяющаяся ошибка сборки команды, а не категория или отдельная задача. Абляции показывают, что выбор важен: категории вместо образцов снижают результат на Terminal-Bench 2.0 на 10,8 пункта, отдельные сценарии - на 6,7, а без приоритизатора или контроллера исследования результат возвращается к фиксированному порядку. Моё прочтение: выигрыш даёт память о неудачной правке и возврат к образцу при сохранении части бюджета на поиск новых образцов.
Игрушечный тест, который я написал
Я написал выдуманный пример учёта и выполнил его локально: семь исправимых сбоев в четырёх образцах, шесть запусков. Заданный порядок, начинающийся с уже решённого образца, исправляет 3; выбор самого большого нерешённого образца исправляет 6. Проверяется и то, что одна задача из 40 сдвигает оценку на 2,5 пункта. Входные данные выдуманы. Они иллюстрируют идею распределения и не являются доказательством об ActiveSaddler.
Ограничения и безопасность
Авторы пишут, что это исследовательская работа на публичных и синтетических данных, не оценивавшаяся как производственная система и с точки зрения безопасности. Они отмечают, что сгенерированная правка обвязки может менять подсказки, интерфейсы инструментов, сборку команд или поток управления, не трогая веса модели, и советуют минимальные права, песочницу, состязательные проверки и явное рассмотрение изменений, затрагивающих разрешения. В статье сказано, что код и сайт проекта будут доступны; выпуск я не проверял, ничего не скачивал и метод не запускал. Это препринт arXiv v1.
Игрушечный тест в коде
# Invented toy: two ways to spend 6 rollouts on failure patterns.
remaining = {"quoting": 4, "paths": 2, "timeouts": 1, "stale-docs": 0}
def fixed(order, budget):
left = dict(remaining); fixed_n = 0
for name in order[:budget]: # one pass in a preset order
if left[name]:
left[name] -= 1; fixed_n += 1
return fixed_n
def adaptive(budget):
left = dict(remaining); fixed_n = 0
for _ in range(budget): # always target the largest unresolved pattern
name = max(left, key=left.get)
if left[name]:
left[name] -= 1; fixed_n += 1
return fixed_n
order = ["stale-docs", "stale-docs", "timeouts", "paths", "stale-docs", "quoting"]
a, b = fixed(order, 6), adaptive(6)
assert (a, b) == (3, 6)
print("preset order repaired", a, "of 6; adaptive repaired", b, "of 6")
# 1 test task on a 40-task split moves the score by 2.5 points.
assert 100 / 40 == 2.5