Project Swap: агенты торговались хорошо, а владельцев знали плохо
В Project Swap от Anthropic слабым местом книжного обмена стал сбор предпочтений: 61% совпадения пар и больший ущерб на входе, чем в переговорах.
PROJECT SWAP · AI AGENTS · 25 SEP 2026
Агент, торгующий книгами, может выиграть переговоры и всё равно уйти не с той книгой. В отчёте Anthropic о Project Swap от 24 сентября это главный сбой: короткое интервью дало агентам неточные предпочтения ещё до начала обмена. Anthropic, Sep 24, 2026.
КОРОТКО
- 201 сотрудник из шести офисов участвовал в контролируемом обмене книгами. По ответам 188 участников пятиминутная беседа дала 61% совпадения при сравнении пар книг. Средний результат на шкале предпочтений от 0 до 1 составил 0,55 при достижимом оптимуме 0,89. Project Swap.
Подтверждённые факты
Каждый приносил книгу, обсуждал вкусы с Claude и отдельно ранжировал десять книг. Агент получал полный список, составленный Claude, но не скрытую оценку человека, после чего обменивался книгами. Исследователи повторяли торги с другими моделями и инструкциями. Это эксперимент компании, а не независимое полевое исследование. Источник.
Что запустили
201 сотрудник из шести офисов участвовал в контролируемом обмене книгами. По ответам 188 участников пятиминутная беседа дала 61% совпадения при сравнении пар книг. Средний результат на шкале предпочтений от 0 до 1 составил 0,55 при достижимом оптимуме 0,89.
Где теряется ценность
Авторы разложили разницу в 0,34 пункта относительно оптимума 0,89. Около 0,29 пункта они связывают с неточным представлением предпочтений, а не с самим торгом. Логичная числовая цель всё равно может быть целью не того человека. Источник.
Проверка на отложенных данных, которую можно запустить
Прежде чем разрешить агенту покупать, попросите человека проранжировать небольшой отложенный набор альтернатив. Сравните порядок агента с парами человека, разберите перестановки и спросите снова, если уверенность низкая. Код ниже - иллюстративная локальная проверка, а не метод оценки Project Swap и не защитный барьер для production.
Учебный код; не метод исследования
from itertools import combinations
def pair_agreement(human, agent):
# Both lists contain the same unique item IDs, best first.
assert len(human) == len(agent) == len(set(human)) == len(set(agent))
assert set(human) == set(agent)
h, a = {x:i for i,x in enumerate(human)}, {x:i for i,x in enumerate(agent)}
pairs = list(combinations(human, 2))
return sum((h[x] < h[y]) == (a[x] < a[y]) for x,y in pairs) / len(pairs)
assert pair_agreement(['A','B','C'], ['A','C','B']) == 2/3Анализ (Jack Gross)
Мой вывод: тесты агентов часто оценивают завершение задачи по собственной цели агента. Project Swap показывает, как такая метрика льстит системе. Сначала нужно проверить, что цель соответствует человеку; более напористый торг не заменит эту проверку. Нельзя прямо переносить выводы о книгах на финансы или медицину.
Где это перестаёт работать
Сотрудники Anthropic не представляют всё население. Оценки десяти книг могут быть неточными; обмен книгами не равен денежному рынку. Авторы изучали кооперативных агентов Claude при заданных правилах, а не недобросовестных продавцов. Готовность доверить агенту в среднем около 30% бюджета на книги в последующем опросе - слова ответивших, не реальные траты. Источник.
Что из этого взять
Урок для дизайна невелик. Придержите часть решений, которых агент не видит, проверяйте на них соответствие предпочтениям и держите дорогие обязательства за человеческой проверкой. Лучшая модель улучшила результат по собственным рейтингам агентов, но сильный результат на переговорах не исправит неверную цель.
FAQ
Плохо ли агенты торговались?
Большую часть разрыва авторы связывают с представлением предпочтений, а не с переговорами.
61% означает 61% правильных книг?
Нет. Это совпадение порядка в парах книг у агента и человека.
Проверяли покупки?
Нет. Сотрудники Anthropic обменивались книгами.
Anthropic, Project Swap, Sep 24, 2026. Article dated Sep 25, 2026.