Un même modèle peut gagner ou perdre selon son harnais
Une équipe choisit le modèle en tête d’un classement, le branche sur le harnais d’agent le plus proche et livre.
Une équipe choisit le modèle en tête d’un classement, le branche sur le harnais d’agent le plus proche et livre. Un préprint publié sur arXiv début octobre demande ce que ce raccourci cache. Sur les mêmes 63 tâches de terminal, un modèle devance un autre de presque 8 points dans un harnais et le suit de 30 points dans un autre. Le classement n’a jamais été une propriété des seuls modèles.
En bref
Recherche rapportée : « Finding the Right Fit » (arXiv 2610.00917) évalue 66 configurations de modèle et de harnais sur trois benchmarks d’agents. Quatre harnais configurables (OpenHands, DeepSeek Harness, PI, openJiuwen) sont associés à cinq modèles, plus les couples natifs Codex et Claude Code. Les classements de modèles s’inversent selon le harnais, le meilleur harnais d’un modèle change avec le benchmark, et le harnais du fournisseur n’est pas toujours le meilleur pour son propre modèle. Les auteurs publient les adaptateurs, le code et 6 204 trajectoires notées. ↗
Ce que les chercheurs ont lancé
La grille croise quatre harnais et cinq modèles (Claude Opus 5, GPT-6 Astra, GLM-5.3, Kimi K3, DeepSeek V4 Pro) sur trois benchmarks : TUA-Bench avec 120 tâches, ALE-CLI avec 99 et un sous-ensemble de 63 tâches de Terminal-Bench 4 sans H100. Codex avec GPT et Claude Code avec Claude ajoutent six références natives, soit 66 configurations. Chaque harnais demande un effort de raisonnement élevé et garde ses propres réglages de contexte, de reprises et de tours. Les modèles passent par OpenRouter, épinglés sur leur fournisseur d’origine. Le coût est le coût d’API par tâche aux prix d’OpenRouter. Aucune compétence, aucun serveur MCP et aucune mémoire n’ont été ajoutés. ↗
Où le classement s’inverse
Sur Terminal-Bench 4, Claude devance GPT de 7,94 points dans OpenHands. Dans DeepSeek Harness, GPT mène de 17,46, dans openJiuwen de 12,70 et dans PI de 30,16. Claude passe de 57,14 % dans OpenHands à 30,16 % dans PI, alors que GPT monte de 49,21 % à 60,32 %. Kimi est le cas stable : openJiuwen lui donne son meilleur score sur les trois benchmarks, avec 5,61 à 11,11 points d’avance. Les couples natifs sont mitigés. Claude Code est le meilleur pour Claude sur TUA-Bench et ALE-CLI mais reste derrière OpenHands sur Terminal-Bench, et Codex ne donne jamais à GPT son meilleur score. Sur Terminal-Bench 4, GPT sous PI bat GPT sous DeepSeek Harness pour moins du quart du coût par tâche. ↗
Pourquoi un même modèle se comporte différemment
Les auteurs ont comparé des trajectoires appariées d’une même tâche et d’un même modèle sous différents harnais. Les modèles lancent presque toutes les réparations eux-mêmes, donc beaucoup dépend de la façon dont le harnais renvoie un échec sous une forme exploitable. Un shell sans délai d’expiration transforme une commande bloquée en silence. Un détecteur de blocage peut arrêter une exécution avant qu’un appel d’outil mal formé soit corrigé. GPT fixe des délais explicites dans la plupart de ses appels shell et réussit le mieux avec PI, un échafaudage léger. Kimi émet plus d’appels mal formés et réussit le mieux là où le harnais les rattrape. Beaucoup d’échecs restants arrivent à la fin, quand l’agent prend sa propre vérification pour la preuve que la tâche est terminée.
Ce que je n’ai pas pu vérifier
Mon analyse : la leçon utile est d’évaluer ensemble le couple et la tâche, et de traiter un changement de harnais comme un changement de modèle. Les limites figurent dans l’article lui-même. Le sous-ensemble de Terminal-Bench et les sélections locales de tâches ne reproduisent pas les chiffres des classements officiels, « effort de raisonnement élevé » ne veut pas forcément dire le même budget de réflexion dans chaque harnais, et chaque tâche compte pour sa dernière exécution. C’est un préprint avec une seule campagne d’exécutions. J’ai lu le résumé et le texte HTML. Je n’ai pas relancé le code ni ouvert les trajectoires publiées, donc je ne peux pas confirmer les chiffres au-delà de ce que l’article rapporte.
Une petite vérification que j’ai lancée
Le script ci-dessous est une petite vérification que j’ai écrite et exécutée en local. Il copie les scores de Claude et de GPT sur Terminal-Bench 4 depuis le tableau de l’article et recalcule l’écart par harnais. Avec les valeurs du tableau à quatre décimales, il affiche 7,93 points d’avance dans OpenHands, alors que l’article donne 7,94 à partir des scores non arrondis. C’est une différence d’arrondi, pas un désaccord. Il confirme l’inversion du signe et un écart de 38,09 points entre le meilleur et le pire harnais pour Claude. Ce n’est pas une réexécution du benchmark.
La vérification en code
# Recompute the Claude-minus-GPT gap on Terminal-Bench 4 from the reported table.
# Scores are mean rewards copied from Table 1 of arXiv 2610.00917 (63 tasks).
TB4 = {
"OpenHands": {"Claude Opus 5": 0.5714, "GPT-6 Astra": 0.4921},
"DSH": {"Claude Opus 5": 0.3492, "GPT-6 Astra": 0.5238},
"PI": {"Claude Opus 5": 0.3016, "GPT-6 Astra": 0.6032},
"openJiuwen": {"Claude Opus 5": 0.4127, "GPT-6 Astra": 0.5397},
}
def gaps(table):
for harness, row in table.items():
diff = (row["Claude Opus 5"] - row["GPT-6 Astra"]) * 100
leader = "Claude" if diff > 0 else "GPT"
yield harness, round(diff, 2), leader
results = list(gaps(TB4))
for harness, diff, leader in results:
print(f"{harness:<11} Claude minus GPT = {diff:+.2f} points, leader: {leader}")
leaders = {leader for _, _, leader in results}
print("ranking changes with the harness:", len(leaders) > 1)
spread = max(d for _, d, _ in results) - min(d for _, d, _ in results)
print(f"spread of the gap across harnesses: {spread:.2f} points")