TRACE: падение оценки ещё не диагноз
Препринт от 8 октября отделяет изменение поведения от изменения проверки. Повторные контроли важнее красивого числа.
Препринт от 8 октября отделяет изменение поведения от изменения проверки. Повторные контроли важнее красивого числа.
TRACE: падение оценки ещё не диагноз
Препринт от 8 октября отделяет изменение поведения от изменения проверки. Повторные контроли важнее красивого числа.
Та же работа, иной вердикт
Инструмент меняет имя, но не действие. Если агент выполняет прежние операции и получает меньший балл, регрессия может быть в проверяющем. TRACE использует парные запуски, чтение траекторий и повторную оценку неизменённой записи с исправленным правилом. Это разные вопросы: изменился ли балл всей системы, поведение или суждение проверяющего? Я читал препринт, не повторял эксперименты.
Механизм под контролем
На 25 синтетических задачах переименование снижает средний балл careful на 0.250 при прежних операциях и качестве симулятора. Возврат исходных имён при оценке убирает разрыв. Другая политика действительно меняет поведение. Это демонстрация механизма, не вывод о безвредности любых имён. Детерминированные политики повторяются одинаково под разными метками seed; каждая семья проверок использует одну трансформацию, не широкое распределение перефразировок.
Повторные контроли
В tau²-bench единственный ясный эффект первых 30 задач не воспроизводится. Основной повторный опыт использует четыре агента, повторные запуски и 88 прежде не проверенных задач как основной тест. Переименование или форматирование эквивалентно в заранее заданной границе ±0.10 для семи из восьми пар агент-изменение. Идентичные повторы меняют исход 15-36% задач. Намеренно вводящие в заблуждение имена снижают награду всех агентов на 0.20-0.44: положительный контроль обнаруживает значимый эффект. Эквивалентность в границе не означает точного равенства и безвредности на каждой задаче.
Мой анализ
Два судьи расходятся на 57% одинаковых фиксированных записей, хотя устойчивы к оформлению. Авторы связывают многое с оценкой процедуры вместо результата. Мой анализ: стабильность не валидность. Судья может повторять ответ, измеряя другое понятие успеха. До сравнения опишите, что считается успехом: состояние, процесс или оба, и храните результаты по задачам, не лишь среднее.
План проверки
Мой план: заморозить синтетические задачи, изменить одну деталь интерфейса, повторить исходное условие и переоценить те же записи для проверки дефекта. Оставить положительный контроль с ожидаемой сменой поведения. Код ниже изолирует нормализацию имени, но не реализует TRACE и не доказывает надёжность бенчмарка. Конкретные задачи, судьи и изменения ограничивают обобщение. Средний разрыв требует расследования, не автоматического понижения модели.
def canonical_calls(calls, aliases):
return [aliases.get(name, name) for name in calls]
assert canonical_calls(["renamed_read"],
{"renamed_read": "read"}) == ["read"]
# Illustrative name normalization only.
# Do not normalize genuinely different operations into equivalence.