TRACE : un score plus bas est une observation, pas un diagnostic
Une prépublication du 8 octobre sépare changement de comportement et règle de notation. Les contrôles répétés comptent autant que le titre.
Une prépublication du 8 octobre sépare changement de comportement et règle de notation. Les contrôles répétés comptent autant que le titre.
TRACE : un score plus bas est une observation, pas un diagnostic
Une prépublication du 8 octobre sépare changement de comportement et règle de notation. Les contrôles répétés comptent autant que le titre.
Même travail, autre verdict
Un outil change de nom, pas de fonction. Si un agent fait les mêmes opérations et reçoit moins de points, la régression peut venir du vérificateur. TRACE combine exécutions appariées, examen des trajectoires et nouvelle notation du même dossier avec une règle corrigée. Questions distinctes : le score du système, le comportement ou le jugement ont-ils changé ? J’ai lu l’article, sans reproduire les expériences.
Mécanisme contrôlé
Sur 25 tâches synthétiques, renommer les outils baisse la moyenne de careful de 0.250 malgré les mêmes opérations et qualité simulée. Restaurer les noms au moment de noter ferme tout l’écart. Une autre politique subit une vraie défaillance comportementale. C’est une démonstration contrôlée, pas une affirmation que les noms ne comptent jamais. Les politiques déterministes se répètent identiquement sous les étiquettes seed ; chaque famille de sondes utilise une transformation fixe, pas une large distribution de reformulations.
Contrôles répétés
Dans tau²-bench, le seul effet net d’une première étude sur 30 tâches ne se reproduit pas. Le suivi principal teste quatre agents et utilise 88 tâches jamais évaluées comme ensemble principal, avec répétitions. Renommage ou reformatage sont équivalents dans la marge ±0.10 prédéfinie pour sept des huit paires agent-changement. Des répétitions identiques inversent 15-36% des résultats. Des noms volontairement trompeurs baissent les récompenses de 0.20-0.44 pour tous les agents : contrôle positif d’un vrai effet. Équivalence dans une marge ne veut dire ni identité exacte ni absence de dommage pour chaque tâche.
Mon analyse
Deux juges divergent sur 57% des mêmes dossiers fixes malgré leur stabilité face à la présentation. L’article relie beaucoup de désaccords à la procédure plutôt qu’au résultat. Mon analyse : stabilité n’est pas validité. Un juge peut répéter sa réponse en mesurant une autre définition du succès. Définir avant comparaison si le succès est état final, processus ou les deux ; conserver les résultats par tâche, pas seulement une moyenne.
Protocole à tester
Mon protocole proposé fige des tâches synthétiques, change une seule propriété d’interface, répète la condition initiale puis renote les mêmes traces pour tester le défaut suspecté. Garder un contrôle positif censé changer le comportement. Le code ci-dessous isole la normalisation des noms, ne réalise pas TRACE et ne prouve aucune robustesse. Tâches, outils, mutations et juges précis limitent la généralisation. Un écart moyen demande une enquête, pas un déclassement automatique du modèle.
def canonical_calls(calls, aliases):
return [aliases.get(name, name) for name in calls]
assert canonical_calls(["renamed_read"],
{"renamed_read": "read"}) == ["read"]
# Illustrative name normalization only.
# Do not normalize genuinely different operations into equivalence.