Project Swap: агенти торгувалися добре, а власників знали погано
У Project Swap від Anthropic слабкою ланкою стало збирання вподобань: 61% збігу пар і більша втрата на вході, ніж під час переговорів.
PROJECT SWAP · AI AGENTS · 25 SEP 2026
Агент, що обмінюється книжками, може виграти переговори й усе одно піти не з тією книжкою. У звіті Anthropic про Project Swap від 24 вересня це головний збій: коротке інтервʼю дало агентам неточні вподобання ще до початку обміну. Anthropic, Sep 24, 2026.
КОРОТКО
- 201 працівник із шести офісів долучився до контрольованого обміну книжками. Для 188 учасників, які надали рейтинги, п’ятихвилинна розмова дала 61% збігу порядку пар книжок. Середній результат на шкалі вподобань від 0 до 1 склав 0,55 за досяжного оптимуму 0,89. Project Swap.
Факти зі звіту
Кожен приносив книжку, розмовляв із Claude про смаки та окремо ранжував десять книжок. Агенти отримували повний перелік від Claude, а не приховане людське ранжування, і торгувалися. Дослідники повторювали ринки з іншими моделями та інструкціями. Це експеримент компанії, не незалежне польове випробування. Джерело.
Що запустили
201 працівник із шести офісів долучився до контрольованого обміну книжками. Для 188 учасників, які надали рейтинги, п’ятихвилинна розмова дала 61% збігу порядку пар книжок. Середній результат на шкалі вподобань від 0 до 1 склав 0,55 за досяжного оптимуму 0,89.
Де втрачається цінність
Автори розклали розрив у 0,34 бала від оптимуму 0,89. Близько 0,29 бала вони пов’язують із неточним представленням уподобань, значно більше, ніж із торгом. Узгоджена числова ціль може все ж представляти не ту людину. Джерело.
Перевірка на відкладених даних, яку можна запустити
Перш ніж дозволити агентові купувати, попросіть людину проранжувати невеликий відкладений набір альтернатив. Порівняйте порядок агента з парами людини, розберіть перестановки й спитайте знову, якщо впевненість низька. Код нижче - ілюстративна локальна перевірка, а не метод оцінювання Project Swap і не захисний бар’єр для production.
Навчальний код; не метод дослідження
from itertools import combinations
def pair_agreement(human, agent):
# Both lists contain the same unique item IDs, best first.
assert len(human) == len(agent) == len(set(human)) == len(set(agent))
assert set(human) == set(agent)
h, a = {x:i for i,x in enumerate(human)}, {x:i for i,x in enumerate(agent)}
pairs = list(combinations(human, 2))
return sum((h[x] < h[y]) == (a[x] < a[y]) for x,y in pairs) / len(pairs)
assert pair_agreement(['A','B','C'], ['A','C','B']) == 2/3Аналіз (Jack Gross)
Мій висновок: тести агентів іноді оцінюють завершення завдання за власною ціллю агента. Project Swap показує, чому це може прикрашати результат. Спершу перевірте відповідність цілі людині; кращий торг не виправить її нерозуміння. Не переносіть результати про книжки прямо на фінанси чи медицину.
Де це перестає працювати
Працівники Anthropic не представляють населення загалом. Ранжування десяти книжок може бути неточним; обмін не є грошовим ринком. Вивчали кооперативних агентів Claude у ринку з правилами, а не зловмисних продавців. Заявлена готовність довірити агенту близько 30% книжкового бюджету серед опитаних не означає реальних витрат. Джерело.
Що з цього взяти
Урок для дизайну невеликий. Притримайте частину рішень, яких агент не бачить, перевіряйте на них відповідність уподобанням і тримайте дорогі зобовʼязання за людською перевіркою. Краща модель покращила результат за власними рейтингами агентів, але сильний результат на переговорах не виправить хибну мету.
FAQ
Чи погано агенти торгувалися?
Звіт пояснює більшу частину розриву представленням уподобань, а не переговорами.
61% означає 61% правильних книжок?
Ні. Це збіг порядку між парами книжок у агента та людини.
Чи тестували реальні покупки?
Ні. Це був обмін книжками між працівниками Anthropic.
Anthropic, Project Swap, Sep 24, 2026. Article dated Sep 25, 2026.