Une équipe de trois agents bat-elle un seul agent évolué ? Un article dit non, à coût égal
MA-Evolve fixe le nombre d’appels au modèle et constate qu’une équipe planificateur, exécuteur et critique égale un seul exécuteur évolué, pour 1,8 fois le coût par tâche.
Planificateur, exécuteur, critique : l’équipe à trois rôles est la forme par défaut d’un pipeline d’agents « sérieux ». Un article de juin demande si elle justifie ses appels supplémentaires, et répond par un non contrôlé, sur un petit modèle et deux benchmarks.
En bref
« At Equal Inference Cost, Multi-Agent Structure Does Not Beat a Single Frozen Agent » (arXiv 2609.04217, soumis le 25 juin 2026) fait évoluer les prompts d’une équipe à trois rôles et d’un agent seul avec le même budget d’appels au modèle. Sur ALFWorld l’équipe obtient 0,769 et l’agent seul 0,754, soit deux tâches d’écart sur 134 que les auteurs ne distinguent pas du hasard (p = 0,80), pour 1,79 fois plus d’appels par tâche. J’ai lu l’article en entier. Je n’ai rien exécuté.
Ce que l’article affirme
Les auteurs construisent MA-Evolve. Un seul modèle Qwen2.5-7B-Instruct gelé joue tous les rôles, donc aucun rôle n’a un meilleur cerveau que les autres. Seul le prompt de chaque rôle change, réglé un rôle à la fois. Avant l’évolution, l’agent simple résout 0,657 des 134 tâches ALFWorld réservées. Après évolution du seul prompt de l’exécuteur, il en résout 0,754 (McNemar 20 contre 7, p = 0,021). Ce prompt est lisible : ouvrir un récipient fermé avant d’y prendre un objet, prendre avant de poser, utiliser les modèles d’action exacts, confirmer les étapes refroidir, chauffer et utiliser.
L’équipe complète arrive à 0,769. Face à l’agent seul évolué, c’est +0,015 (9 tâches contre 7, p = 0,80). Sur WebShop, avec 80 sessions réservées et un score dense, l’évolution ne change rien (0,245 contre 0,242) et l’équipe tend vers le bas, 0,185, même si p = 0,12 signifie que cela non plus n’est pas démontré.
Pourquoi l’équipe n’apporte rien ici
L’article le mesure. Les prompts évolués du planificateur et du critique sont restés vides ou presque. Quand ils se déclenchaient, le planificateur changeait l’action de l’exécuteur dans 14 % des cas et le critique dans 41 %. Le gain de l’équipe sur la référence est donc celui de l’exécuteur, plus deux appels par étape. Les auteurs soutiennent aussi que le budget d’appels fixe affame la recherche : réparti sur trois rôles, chacun n’a qu’un tiers des essais.
| Variante | Réussite sur tâches réservées | Appels par tâche | Coût vs seul |
|---|---|---|---|
| Référence sans évolution | 0.657 | - | - |
| Un seul exécuteur évolué | 0.754 | 18.0 | 1.00× |
| Équipe complète (planificateur, exécuteur, critique) | 0.769 | 32.2 | 1.79× |
| Exécuteur seul (LOI:exec) | 0.731 | 16.7 | 0.93× |
Là où les preuves sont minces
- Un seul modèle gelé de 7 milliards de paramètres. Un modèle plus grand, ou des modèles différents par rôle, peut laisser de la place à un vrai critique. Les auteurs le disent et ne prétendent pas que le résultat se transfère.
- Une seule topologie et un seul optimiseur. Débat, ensembles et recherche conjointe de prompts et de structure sont hors périmètre.
- Une évaluation gloutonne par cellule, avec des intervalles bootstrap sur les tâches, sans répétition de runs. Deux benchmarks.
- Un régime favorable qui plafonne les rollouts plutôt que les appels n’est rapporté que pour l’équipe, car les runs par rôle ont planté sur un bug du planificateur. Les auteurs l’indiquent.
Lecture prudente : sur un petit modèle avec un budget d’appels fixe, n’ajoutez un rôle qu’après avoir montré qu’il change une action. L’article fournit les compteurs pour le vérifier, la part des fois où un rôle modifie le choix de l’exécuteur.
Sources et limites
Les faits viennent du résumé, du texte et des tableaux de l’article lus dans le PDF le 6 octobre 2026. L’interprétation est la mienne. Je n’ai pas exécuté le code des auteurs ni reproduit un seul chiffre.