Project Swap: הסוכנים התמקחו היטב והכירו את הבעלים שלהם רע

PROJECT SWAP · AI AGENTS · 25 SEP 2026

סוכן שמחליף ספרים יכול לנצח במשא ומתן ועדיין לחזור הביתה עם הספר הלא נכון. בדוח Project Swap של Anthropic מ-24 בספטמבר זה הכשל המרכזי: ראיון קצר נתן לסוכנים העדפות לא מדויקות עוד לפני שהחלה כל החלפה. Anthropic, Sep 24, 2026.

מה הם הריצו

201 עובדים בשישה משרדים השתתפו בשוק מבוקר להחלפת ספרים. אצל 188 משתתפים שמסרו דירוגים, שיחת קליטה של כחמש דקות יצרה התאמה של 61% בסדר של זוגות ספרים בין הסוכן לאדם. התוצאה הממוצעת הייתה 0.55 בסולם העדפות של 0 עד 1, מול אופטימום אפשרי של 0.89.

העדפות האדם→שיחת קליטה קצרה→דירוג הסוכן→החלפה→תוצאה לאדם

איפה הערך דולף

החוקרים פירקו פער של 0.34 נקודות ביחס לאופטימום 0.89. כ-0.29 נקודות מיוחסות לייצוג לא מדויק של ההעדפות, הרבה יותר מאשר לשלב המיקוח. דירוג מספרי עקבי עדיין עלול לייצג את האדם הלא נכון. מקור.

בדיקת held-out שאפשר להריץ

לפני שמרשים לסוכן קניות לקנות, בקשו מהאדם לדרג קבוצה קטנה של חלופות שהוסתרה. השוו את הסדר של הסוכן לזוגות של האדם, בדקו היפוכים ושאלו שוב אם הביטחון נמוך. הקוד שלהלן הוא בדיקה מקומית להמחשה, לא שיטת הניקוד של Project Swap ולא שער בטיחות לפרודקשן.

קוד להמחשה; לא שיטת המחקר

from itertools import combinations

def pair_agreement(human, agent):
    # Both lists contain the same unique item IDs, best first.
    assert len(human) == len(agent) == len(set(human)) == len(set(agent))
    assert set(human) == set(agent)
    h, a = {x:i for i,x in enumerate(human)}, {x:i for i,x in enumerate(agent)}
    pairs = list(combinations(human, 2))
    return sum((h[x] < h[y]) == (a[x] < a[y]) for x,y in pairs) / len(pairs)

assert pair_agreement(['A','B','C'], ['A','C','B']) == 2/3

איפה זה מפסיק להחזיק

עובדי Anthropic אינם מדגם מייצג. דירוג של עשרה ספרים עשוי להיות רועש; החלפת ספרים אינה שוק כספי. נבדקו סוכני Claude משתפי פעולה בשוק עם כללים קבועים, לא מוכרים עוינים. נכונות מדווחת להפקיד בידי סוכן כ-30% מתקציב הספרים אצל משיבים לסקר אינה הוצאה בפועל. מקור.

מה לקחת מזה

לקח העיצוב קטן. שמרו בצד חלק מההחלטות שהסוכן לא רואה, בדקו מולן את התאמת ההעדפות והשאירו התחייבויות יקרות מאחורי סקירה אנושית. מודל טוב יותר שיפר תוצאות על הדירוגים של הסוכנים עצמם, אבל ציון משא ומתן חזק לא יתקן מטרה שגויה.

FAQ

האם הסוכנים ניהלו משא ומתן גרוע?

הדוח מייחס את רוב הפער לייצוג ההעדפות ולא למיקוח.

האם 61% פירושם ש-61% מהספרים היו נכונים?

לא. זהו שיעור התאמה בסדר בין זוגות ספרים לפי האדם ולפי הסוכן.

האם נבדקו רכישות אמיתיות?

לא. זה היה ניסוי החלפת ספרים בקרב עובדי Anthropic.

Anthropic, Project Swap, Sep 24, 2026. Article dated Sep 25, 2026.