LiteTrajEval : un diagnostic moins cher exige les bons dénominateurs
Un juge et une trace bornée réduisent le coût rapporté. Mais l’alignement dépend de la détection et les fausses alertes ne sont pas testées.
Une trace peut devenir assez longue pour cacher la cause de son échec. LiteTrajEval réduit le coût de lecture en essayant de préserver la structure causale. L’enjeu est ce que la compression conserve et ce que l’expérience ne mesure jamais.
LiteTrajEval : un diagnostic moins cher exige les bons dénominateurs
Un juge et une trace bornée réduisent le coût rapporté. Mais l’alignement dépend de la détection et les fausses alertes ne sont pas testées.
Architecture rapportée
Le préprint "Lightweight, Rubric-Guided Trajectory Evaluation for Production AI Agents" construit hors ligne des profils de règles par domaine. En ligne, il normalise la trace, marque les signaux suspects, compacte les répétitions et envoie une représentation bornée à un seul juge LLM. Le budget est de 50 000 caractères. Les caractères ne sont pas des tokens, et un appel en ligne ne rend pas la préparation gratuite.
Le sérialiseur réserve de la place pour la tâche et la réponse finale, conserve l’ordre des étapes, classe les preuves et réduit d’abord les longs résultats moins prioritaires. Dans chaque étape, il sélectionne les éléments pertinents en pénalisant la répétition. Une troncature dure reste possible. C’est une sélection structurée, pas la garantie de garder chaque indice causal.
Lisez les dénominateurs
L’évaluation porte sur 44 traces échouées de type Magentic-One et 29 traces tau-retail échouées issues d’AgentRx. Toutes sont déjà des échecs. Detection Rate mesure donc le rappel des échecs connus, pas la séparation entre bonnes et mauvaises exécutions. Aucun ensemble de réussites ne permet d’estimer les fausses alertes.
L’alignement est conditionnel à la détection et compare les étapes prédites aux groupes annotés par des humains. @3 accepte une distance de trois étapes à la région de référence. Avec GPT-5-mini, la détection Magentic-One est 43/44 dans les deux systèmes ; l’alignement conditionnel passe de 35/77 à 64/77. En retail, la détection passe de 25/29 à 26/29 et l’alignement de 16/27 à 23/28. Les dénominateurs diffèrent : ce n’est pas une précision globale.
Des économies sur ce lot
Avec le même GPT-5-mini, le coût estimé des 73 traces passe de $2,4628 pour AgentRx à $0,4155 pour LiteTrajEval, environ six fois moins. Le temps total passe de 15 990 à 1 840 secondes, environ 8,7 fois moins. Le gain supérieur avec DeepSeek-v4-flash change aussi le juge : ce n’est plus une comparaison à modèle égal.
Le pilote de production est qualitatif : un agent SRE interne, avec des régions de panne jugées plausibles lors d’une inspection initiale. Ce trafic n’a pas de vérité annotée à l’étape. Il ne confirme pas le taux d’alignement en production. J’ai lu l’article, sans reproduire les chiffres ni inspecter le déploiement privé.
Mon analyse : auditer la compression
Avant de corriger sur la base d’une trace courte, conservez l’original en privé et donnez à chaque extrait un identifiant d’étape et ses positions dans la source. Notez ce qui a été supprimé et pourquoi. Comparez le diagnostic compact à une revue humaine complète sur un petit lot annoté. Ajoutez des réussites pour révéler les fausses alertes.
Un cas d’annulation illustratif montre le risque : l’outil peut répondre "succès" alors qu’une contrainte précédente rendait l’action incorrecte. Gardez ensemble contrainte, cible et résultat. C’est un contrôle proposé, pas une nouvelle mesure. Revoyez les règles quand le format ou le domaine change.
Limites
Un diagnostic moins cher vaut la peine s’il détecte les échecs qui comptent. L’article soutient une localisation conditionnelle sur deux petits jeux de traces échouées, pas un détecteur universel. Mesurez séparément couverture, fausses alertes, tolérance de localisation et coût. Un score unique masque les traces que le système n’a pas signalées.