LiteTrajEval: дешёвому диагнозу нужны честные знаменатели
Один судья и ограниченная запись снижают заявленную стоимость. Совпадение измеряется лишь на обнаруженных сбоях, ложные тревоги не проверены.
Длинная траектория может спрятать причину сбоя. LiteTrajEval сокращает расходы на её чтение, стараясь сохранить причинную структуру. Важен не только дешёвый судья, но и то, какие сведения сохраняет сжатие и чего эксперимент вообще не измеряет.
LiteTrajEval: дешёвому диагнозу нужны честные знаменатели
Один судья и ограниченная запись снижают заявленную стоимость. Совпадение измеряется лишь на обнаруженных сбоях, ложные тревоги не проверены.
Заявленная схема: один судья онлайн
Препринт "Lightweight, Rubric-Guided Trajectory Evaluation for Production AI Agents" строит профили правил для предметной области заранее, на типичных ответах. Онлайн он нормализует траекторию, отмечает признаки возможного сбоя, сокращает повторы и передаёт ограниченное представление одному LLM-судье. Бюджет составляет 50 000 символов. Символы не равны токенам, а один вызов онлайн не делает подготовку правил бесплатной.
Сериализатор резервирует место для задачи и итогового ответа, сохраняет порядок шагов, задаёт приоритеты доказательств и сначала сокращает длинные данные низкого приоритета. Внутри шага выбираются релевантные фрагменты с уменьшением повторов. Если лимит всё ещё превышен, возможно жёсткое обрезание. Это выбор доказательств, не гарантия сохранения каждой причины.
Сначала знаменатели, потом заголовок
В эксперименте 44 неудачные траектории Magentic-One и 29 неудачных tau-retail из AgentRx. Все примеры уже являются сбоями. Detection Rate измеряет полноту обнаружения известных неудач, а не способность отличать хорошие запуски от плохих. Успешных запусков для оценки ложных тревог здесь нет.
Alignment считается только среди обнаруженных случаев и сравнивает предсказанные шаги с группами человеческих отметок. @3 допускает расстояние до трёх шагов от эталонной области. С GPT-5-mini обнаружение Magentic-One равно 43/44 для обеих систем; условное совпадение @3 растёт с 35/77 до 64/77. Для retail обнаружение меняется с 25/29 до 26/29, а совпадение с 16/27 до 23/28. Это разные знаменатели, не общая точность.
Экономия относится к этой выборке
С одинаковым GPT-5-mini стоимость оценки всех 73 траекторий оценивается в $2,4628 для AgentRx и $0,4155 для LiteTrajEval, примерно в шесть раз меньше. Общее время: 15 990 против 1 840 секунд, примерно в 8,7 раза меньше. Более крупная экономия с DeepSeek-v4-flash меняет и судью, поэтому это уже не сравнение одной модели.
Производственный пилот описан качественно: внутренний SRE-агент и правдоподобные места ошибок при предварительном ручном просмотре. Разметки шагов для этого трафика нет. Нельзя переносить туда уровень совпадения из теста. Я прочитал статью, но не повторял результаты и не проверял частное развёртывание.
Мой анализ: журнал сжатия рядом с диагнозом
До исправления на основе короткой траектории сохраните полную запись приватно. Каждому оставленному фрагменту нужны номер шага и позиции в исходном тексте. Запишите, что удалили и почему. На небольшой размеченной выборке сравните диагноз по сжатой версии с ручным просмотром полной. Добавьте успешные запуски, чтобы увидеть ложные тревоги.
В иллюстративном случае отмены ответ инструмента может говорить "успех", хотя раннее ограничение пользователя делало действие неверным. Сохраните вместе ограничение, выбранный объект и результат действия. Это предложенная проверка, не новый измеренный результат. Профили правил нужно пересматривать при изменении форматов или области.
Ограничения
Дешёвый диагноз полезен, если ловит нужные сбои. Работа показывает условную локализацию на двух небольших наборах неудачных траекторий, а не универсальный производственный детектор. Полноту обнаружения, ложные тревоги, допуск локализации и стоимость стоит оценивать отдельно. Одна метрика скрывает случаи, которые система не отметила.