Project Swap : les agents négociaient bien mais connaissaient mal leurs propriétaires

PROJECT SWAP · AI AGENTS · 25 SEP 2026

Un agent d’échange de livres peut gagner la négociation et repartir avec le mauvais livre. Dans le rapport Project Swap d’Anthropic du 24 septembre, c’est l’échec central : un court entretien a donné aux agents des préférences imparfaites avant le moindre échange. Anthropic, Sep 24, 2026.

Ce qu’ils ont lancé

201 employés de six bureaux ont participé à un marché contrôlé de troc de livres. Pour 188 personnes ayant rendu un classement, l’entretien d’environ cinq minutes a produit 61 % d’accord sur les paires de livres. Le résultat moyen atteint 0,55 sur une échelle de préférence de 0 à 1, contre un optimum réalisable de 0,89.

Préférences humaines→Entretien de cinq minutes→Classement de l’agent→Troc→Résultat humain

Où la valeur se perd

Les auteurs décomposent les 0,34 point manquants par rapport à l’optimum de 0,89. Environ 0,29 point tient, dans leur analyse, à la représentation imparfaite des préférences, bien davantage qu’à la négociation. Un objectif numérique cohérent peut pourtant viser le mauvais goût. Source.

Un contrôle sur données écartées à votre portée

Avant de laisser un agent d’achat acheter, demandez à la personne de classer un petit lot d’alternatives écartées. Comparez l’ordre de l’agent à ses paires, examinez les inversions et redemandez si la confiance est faible. Le code ci-dessous est un contrôle local illustratif, pas la méthode de notation de Project Swap ni une barrière de sécurité pour la production.

Code illustratif ; pas la méthode de l’étude

from itertools import combinations

def pair_agreement(human, agent):
    # Both lists contain the same unique item IDs, best first.
    assert len(human) == len(agent) == len(set(human)) == len(set(agent))
    assert set(human) == set(agent)
    h, a = {x:i for i,x in enumerate(human)}, {x:i for i,x in enumerate(agent)}
    pairs = list(combinations(human, 2))
    return sum((h[x] < h[y]) == (a[x] < a[y]) for x,y in pairs) / len(pairs)

assert pair_agreement(['A','B','C'], ['A','C','B']) == 2/3

Où cela cesse de tenir

Les employés d’Anthropic ne représentent pas la population. Classer dix livres peut donner une référence bruitée ; le troc n’est pas un marché monétaire. L’étude porte sur des agents Claude coopératifs dans un marché réglementé, pas sur des vendeurs hostiles. Le souhait déclaré par les répondants de déléguer environ 30 % de leur budget livres n’est ni une dépense observée ni un taux d’adoption général. Source.

Ce qu’il faut en retenir

La leçon de conception est modeste. Gardez en réserve des décisions que l’agent ne voit pas, testez l’adéquation aux préférences dessus et laissez les engagements coûteux sous revue humaine. Un meilleur modèle a amélioré les résultats sur les classements propres aux agents, mais un bon score de négociation ne répare pas un mauvais objectif.

FAQ

Les agents négociaient-ils mal ?

Le rapport attribue l’essentiel de l’écart à la représentation des préférences plutôt qu’à la négociation.

61 % signifie-t-il que 61 % des livres étaient corrects ?

Non. C’est un accord sur l’ordre relatif de paires de livres entre l’agent et la personne.

Y avait-il de vrais achats ?

Non. C’était un troc de livres entre employés d’Anthropic.

Anthropic, Project Swap, Sep 24, 2026. Article dated Sep 25, 2026.