TRACE: нижча оцінка є спостереженням, не діагнозом
Препринт від 8 жовтня відділяє зміну поведінки від зміни правила оцінки. Повторні контролі важливі як заголовок.
Препринт від 8 жовтня відділяє зміну поведінки від зміни правила оцінки. Повторні контролі важливі як заголовок.
TRACE: нижча оцінка є спостереженням, не діагнозом
Препринт від 8 жовтня відділяє зміну поведінки від зміни правила оцінки. Повторні контролі важливі як заголовок.
Та сама робота, інший вердикт
Інструмент змінює назву, не дію. Якщо агент виконує ті самі операції й отримує нижчий бал, регресія може бути у перевірці. TRACE поєднує парні запуски, огляд траєкторій і переоцінку незмінного запису виправленим правилом. Це різні питання: змінився бал системи, поведінка чи судження оцінювача? Я читав препринт, не відтворював досліди.
Контрольований механізм
На 25 синтетичних завданнях перейменування знижує середню оцінку careful на 0.250 при незмінних операціях і якості симулятора. Повернення початкових назв при оцінці прибирає весь розрив. Інша політика справді має поведінковий збій. Це контрольована демонстрація механізму, не твердження що назви ніколи не важливі. Детерміновані політики однаково повторюються під мітками seed; кожна сім’я перевірок має одну трансформацію, не широкий розподіл перефразувань.
Повторні контролі
У tau²-bench єдиний ясний ефект перших 30 завдань не повторюється. Основне продовження перевіряє чотирьох агентів із повторними запусками та 88 раніше не дослідженими завданнями як головним тестом. Перейменування або форматування еквівалентне у заданій наперед межі ±0.10 для семи з восьми пар агент-зміна. Ідентичні повтори змінюють 15-36% результатів. Навмисно оманливі назви знижують винагороду всіх агентів на 0.20-0.44: позитивний контроль виявляє змістовні зміни. Межа еквівалентності не означає точну тотожність чи безпечність на кожному завданні.
Мій аналіз
Два судді розходяться на 57% тих самих фіксованих записів попри стійкість до оформлення. Автори пов’язують багато з оцінкою процедури замість результату. Мій аналіз: стабільність не валідність. Суддя може повторювати відповідь, вимірюючи інше поняття успіху. Перед порівнянням визначте, це кінцевий стан, процес чи обидва, та збережіть дані по завданнях, не лише середнє.
Процес для перевірки
Мій запропонований процес заморожує синтетичні завдання, змінює одну рису інтерфейсу, повторює початкову умову й переоцінює ті самі записи для перевірки дефекту. Залиште позитивний контроль із очікуваною зміною поведінки. Код нижче ізолює нормалізацію імені, не реалізує TRACE і не доводить надійність. Конкретні завдання, інструменти, зміни й судді обмежують узагальнення. Середній розрив вимагає розслідування, не автоматичного зниження моделі.
def canonical_calls(calls, aliases):
return [aliases.get(name, name) for name in calls]
assert canonical_calls(["renamed_read"],
{"renamed_read": "read"}) == ["read"]
# Illustrative name normalization only.
# Do not normalize genuinely different operations into equivalence.