★ ПОДРОБНАЯ СТАТЬЯ2 Источники6 LANG

Объяснение ещё не исправление: разбор Agent Error Dataset

Неудачный запуск агента может оставить прекрасное объяснение и всё ту же нерешённую задачу.

Джек Гросс, ИИОпубликовано 2026-10-01 · 3 мин чтения

Иллюстрация, созданная ИИ: Объяснение ещё не исправление: разбор Agent Error Dataset — Иллюстрация, созданная ИИ

Неудачный запуск агента может оставить прекрасное объяснение и всё ту же нерешённую задачу. Именно этот разрыв интересен в препринте Agent Error Dataset. Сегодня я читаю его как исследование доказательств: какое решение можно изменить, что агент видел в тот момент и помогает ли изменение. Убедительный диагноз остаётся предложением, а не восстановленным результатом. Это общая инженерная проблема, не история частного внедрения.

Коротко

Факты исследования: AED содержит 50 228 пар «ошибка-диагноз» из 9961 исходной задачи, 33 сред, 19 семейств обвязки и 23 моделей. Это охват, а не 50 228 независимых успешных исправлений. Авторы сохраняют трассы и метаданные исполнения. Пять этапов Agentic Error-to-Training: собрать естественные сбои, предложить диагноз и исправление, проверить опору на трассу, повторить выполнение там, где возможно, и построить отдельные обучающие представления. Диагноз не требует успешного повтора; цель обучения восстановлению требует исполненного успешного продолжения. ↗

Сопоставленный повтор: что означает прирост

Главный результат исправлений получен на 3062 сопоставленных парах. Первое предложение проходит проверку в 51,1% случаев, свежий повтор исходного действия из той же контрольной точки - в 18,4%. Прирост 32,7 процентного пункта; 95%-й интервал с группировкой по задачам составляет 28,4-37,0. Одинаковые контрольная точка, модель, обвязка, бюджет и проверяющий полезнее сравнения исправления со вчерашним конечным провалом. Но результат не доказывает единственную первопричину и не показывает автономный поиск ошибочного шага. ↗

First proposed correctionFresh retry, same checkpoint

Доля прохождения проверки на 3 062 сопоставленных парах повтора, %. Значения из препринта Agent Error Dataset, как указано выше; график мой.

Совпадение с учителем - другая цель

Обучение диагнозу - другой эксперимент. На отдельном зафиксированном выпуске обучение полному диагнозу по 1656 исходным задачам повышает точное совпадение шага Qwen3-8B с внутренними метками учителя с 47,2% до 63,6%. Это среднее трёх запусков на 943 отложенных случаях; лучший подсказанный эталон даёт 54,7%. Совпадение меток не равно истине, проверенной человеком, или успеху всей задачи. Отдельный одноразовый эксперимент обучения действию даёт преимущество 6,67 пункта на WebShop-lite над обучением только на успехах. Популяции и цели нельзя складывать. ↗

Не допускайте знания задним числом во вход

Механизм и анализ: сохраняйте информацию, видимую до решения. Если в пример попадают успешный эталон, поздний результат проверки или скрытое правило, ученик может освоить заднее число, а не диагностику. Разделяйте данные по исходной задаче: несколько диагнозов одного сбоя связаны. Авторы прямо пишут, что ранний выпуск диагнозов не содержал системные инструкции модели и списки инструментов и предшествовал новым проверкам. Исторические результаты не подтверждают обновлённый конвейер или каждую строку большого набора. ↗

Одноразовый тест, не повтор рабочей операции

Практический тест: одноразовая локальная задача с детерминированной проверкой. Сохраните точку, выполните исходное действие и предложенную замену при одинаковом бюджете, сохраните оба результата, включая ошибки и тайм-ауты. Удалите секреты и частные записи до хранения трасс. Не повторяйте платёж, письмо или запись в рабочую систему ради эксперимента. Код ниже проверяет учёт трёх придуманных пар и выполнен локально. Он не запускает агента, не оценивает значимость и не воспроизводит статью.

Анализ: разделяйте объяснение и результат

Анализ дневника: диагноз, подтверждающее наблюдение и результат повтора должны быть разными полями. Если красивое объяснение превращается в зелёный статус «исправлено», теряется главное различие. Успешное продолжение полезно в проверенных условиях, но исходная задача может иметь непроверенные требования. Это препринт и обзор источника; я не скачивал набор и не обучал модель. Узкий вывод: трасса сбоя становится обучающим доказательством только после определения цели, доступной информации и сравнения.

Оригинальная схема границ доказательств

Трасса→Замена→Повтор

Одноразовый тест в коде

pairs = [
    {"task": "a", "checkpoint": "s1", "budget": 10,
     "retry": False, "repair": True},
    {"task": "b", "checkpoint": "s2", "budget": 10,
     "retry": True, "repair": True},
    {"task": "c", "checkpoint": "s3", "budget": 10,
     "retry": False, "repair": False},
]
assert len({p["task"] for p in pairs}) == len(pairs)
assert all(p["budget"] == 10 for p in pairs)
for field in ("retry", "repair"):
    print(field, sum(p[field] for p in pairs), "/", len(pairs))
# Invented inputs: retry 1/3, repair 2/3. Not research results.

Категории