★ ДОКЛАДНА СТАТТЯ2 Джерела6 LANG

Пояснення ще не виправлення: читаємо Agent Error Dataset

Невдалий запуск агента може залишити чудове пояснення і ту саму нерозв’язану задачу.

Джек Гросс, ШІОпубліковано 2026-10-01 · 3 хв читання

Відкрити · arxiv.org Відкрити · arxiv.org

Ілюстрація, створена ШІ: Пояснення ще не виправлення: читаємо Agent Error Dataset — Ілюстрація, створена ШІ

Невдалий запуск агента може залишити чудове пояснення і ту саму нерозв’язану задачу. Саме цей розрив цікавий у препринті Agent Error Dataset. Сьогодні читаю його як дослідження доказів: яке рішення можна змінити, що агент бачив тоді й чи допомагає зміна. Переконливий діагноз є пропозицією, а не відновленим результатом. Це загальна інженерна проблема, не історія приватного впровадження.

Коротко

Факти дослідження: AED містить 50 228 пар «помилка-діагноз» із 9961 вихідної задачі, 33 середовищ, 19 сімейств обв’язки та 23 моделей. Це охоплення, а не незалежні успішні виправлення. Автори зберігають траси й метадані виконання. П’ять етапів Agentic Error-to-Training: зібрати природні збої, створити діагноз і заміну дії, перевірити опору на трасу, повторити виконання за можливості й побудувати окремі навчальні подання. Діагноз не вимагає успішного повтору, а ціль відновлення вимагає виконаного успішного продовження. ↗

Зіставлений повтор: що означає приріст

Основний результат виправлень отримано на 3062 зіставлених парах. Перша запропонована заміна проходить перевірку у 51,1% випадків, новий повтор початкової дії з тієї самої точки - у 18,4%. Приріст 32,7 відсоткового пункту; 95%-й інтервал із групуванням за задачами становить 28,4-37,0. Однакові точка, модель, обв’язка, бюджет і перевірка корисніші за порівняння виправлення зі старим фінальним провалом. Але це не доводить єдину першопричину чи самостійне знаходження помилкового кроку. ↗

First proposed correctionFresh retry, same checkpoint

Частка проходження перевірки на 3 062 зіставлених парах повтору, %. Значення з препринта Agent Error Dataset, як сказано вище; графік мій.

Збіг із учителем - інша ціль

Навчання діагнозу - інший експеримент. На окремому зафіксованому випуску навчання повному діагнозу за 1656 задачами підвищує точний збіг кроку Qwen3-8B із внутрішніми мітками вчителя з 47,2% до 63,6%. Це середнє трьох запусків на 943 відкладених випадках; найкращий еталон із підказками дає 54,7%. Збіг міток не дорівнює перевіреній людиною істині або успіху всієї задачі. Окремий експеримент з одним зерном дає перевагу 6,67 пункту на WebShop-lite для навчання виправленню дії проти навчання лише на успіхах. Цілі та популяції не можна складати. ↗

Не допускайте знання заднім числом у вхід

Механізм і аналіз: зберігайте інформацію, видиму до рішення. Якщо приклад містить успішний еталон, пізній результат перевірки чи приховане правило, учень може засвоїти знання заднім числом. Розділяйте дані за вихідною задачею: діагнози одного збою пов’язані. Автори прямо пишуть, що ранній випуск не містив системних інструкцій і списків інструментів та передував новим перевіркам. Історичні результати не підтверджують оновлений конвеєр або кожен рядок великого набору. ↗

Тимчасовий тест, не повтор виробничої операції

Практичний тест: тимчасова локальна задача з детермінованою перевіркою. Збережіть точку, виконайте початкову дію та заміну з однаковим бюджетом, залиште обидва результати, зокрема помилки й тайм-аути. Приберіть секрети та приватні записи до зберігання трас. Не повторюйте платіж, лист чи виробничий запис заради експерименту. Код нижче перевіряє облік трьох вигаданих пар і виконаний локально. Він не запускає агента, не оцінює значущість і не відтворює статтю.

Аналіз: розділяйте пояснення та результат

Аналіз щоденника: діагноз, спостереження та результат повтору мають бути різними полями. Якщо красиве пояснення стає зеленим статусом «виправлено», губиться головна відмінність. Успішне продовження є доказом у перевірених умовах, але початкова задача може мати неперевірені вимоги. Це препринт і огляд джерела; я не завантажував набір і не навчав модель. Вузький висновок: траса збою стає навчальним доказом після визначення цілі, доступної інформації та порівняння.

Оригінальна схема меж доказів

Траса→Заміна→Повтор

Тимчасовий тест у коді

pairs = [
    {"task": "a", "checkpoint": "s1", "budget": 10,
     "retry": False, "repair": True},
    {"task": "b", "checkpoint": "s2", "budget": 10,
     "retry": True, "repair": True},
    {"task": "c", "checkpoint": "s3", "budget": 10,
     "retry": False, "repair": False},
]
assert len({p["task"] for p in pairs}) == len(pairs)
assert all(p["budget"] == 10 for p in pairs)
for field in ("retry", "repair"):
    print(field, sum(p[field] for p in pairs), "/", len(pairs))
# Invented inputs: retry 1/3, repair 2/3. Not research results.

Категорії