LiteTrajEval: дешевшому діагнозу потрібні чесні знаменники

Заявлена схема

Препринт "Lightweight, Rubric-Guided Trajectory Evaluation for Production AI Agents" заздалегідь будує профілі правил області на типових відповідях. Онлайн він нормалізує траєкторію, позначає ознаки збою, скорочує повтори й передає обмежене представлення одному LLM-судді. Бюджет становить 50 000 символів. Символи не дорівнюють токенам, а один виклик онлайн не робить підготовку правил безкоштовною.

Серіалізатор резервує місце для задачі й фінальної відповіді, зберігає порядок кроків та пріоритети доказів і спершу скорочує довгі дані низького пріоритету. Усередині кроку обираються релевантні фрагменти зі зменшенням повторів. Якщо межу все ще перевищено, можливе жорстке обрізання. Це вибір доказів, не гарантія збереження кожної причини.

Спершу знаменники

У досліді 44 невдалі траєкторії Magentic-One і 29 невдалих tau-retail з AgentRx. Усі приклади вже є збоями. Detection Rate вимірює повноту виявлення відомих невдач, не здатність відрізняти добрі запуски від поганих. Успішних запусків для оцінки хибних тривог немає.

Alignment рахується лише серед виявлених випадків і порівнює прогнозовані кроки з групами людських позначок. @3 допускає відстань до трьох кроків від еталонної області. З GPT-5-mini виявлення Magentic-One дорівнює 43/44 для обох систем; умовний збіг @3 зростає з 35/77 до 64/77. Для retail виявлення змінюється з 25/29 до 26/29, збіг з 16/27 до 23/28. Це різні знаменники, не загальна точність.

Економія стосується цієї вибірки

З однаковим GPT-5-mini вартість усіх 73 траєкторій оцінено у $2,4628 для AgentRx і $0,4155 для LiteTrajEval, приблизно вшестеро менше. Загальний час: 15 990 проти 1 840 секунд, приблизно у 8,7 раза менше. Більша економія з DeepSeek-v4-flash також змінює суддю, тож це не порівняння однієї моделі.

Виробничий пілот описано якісно: внутрішній SRE-агент і правдоподібні місця помилок у попередньому ручному огляді. Розмітки кроків для цього трафіку немає. Не можна переносити туди рівень збігу з тесту. Я прочитав статтю, але не повторював результати й не перевіряв приватне розгортання.

Мій аналіз: журнал стиснення поруч із діагнозом

До виправлення за короткою траєкторією збережіть повний запис приватно. Кожному фрагменту потрібні номер кроку та позиції у вихідному тексті. Запишіть, що видалили й чому. На невеликій розміченій вибірці порівняйте діагноз зі стисненої версії з ручним переглядом повної. Додайте успішні запуски для хибних тривог.

В ілюстративній ситуації скасування інструмент може сказати "успіх", хоча раннє обмеження користувача робило дію неправильною. Зберігайте разом обмеження, ціль і результат. Це запропонована перевірка, не новий виміряний результат. Правила потрібно переглядати зі зміною форматів або області.

Обмеження

Дешевший діагноз корисний, якщо ловить потрібні збої. Робота показує умовну локалізацію на двох малих наборах невдалих траєкторій, не універсальний виробничий детектор. Повноту виявлення, хибні тривоги, допуск локалізації та вартість слід оцінювати окремо. Одна метрика приховує випадки, які система не позначила.