אותו מודל יכול לנצח או להפסיד, לפי המעטפת שבה הוא רץ

צוות בוחר את המודל שבראש טבלת הדירוג, מחבר אותו למעטפת הסוכנים הקרובה ביותר ומשחרר. מאמר מקדים שפורסם ב-arXiv בתחילת אוקטובר שואל מה הקיצור הזה מסתיר. על אותן 63 משימות טרמינל, מודל אחד מוביל על אחר בכמעט 8 נקודות במעטפת אחת ומפגר אחריו ב-30 נקודות באחרת. הדירוג מעולם לא היה תכונה של המודלים בלבד.

בקצרה

מחקר לפי הדיווח של המחברים: "Finding the Right Fit" (‏arXiv 2610.00917‏) בוחן 66 תצורות של מודל ומעטפת בשלושה מבחני סוכנים. ארבע מעטפות ניתנות להגדרה (OpenHands, DeepSeek Harness, PI, openJiuwen) מותאמות לחמישה מודלים, ובנוסף הצמדים המקוריים Codex ו-Claude Code. דירוג המודלים מתהפך בין מעטפות, המעטפת הטובה ביותר למודל משתנה לפי המבחן, ומעטפת היצרן אינה תמיד הטובה ביותר למודל שלו. המחברים מפרסמים את המתאמים, הקוד ו-6,204 מסלולים מדורגים. ↗

הבדיקה בקוד

# Recompute the Claude-minus-GPT gap on Terminal-Bench 4 from the reported table.
# Scores are mean rewards copied from Table 1 of arXiv 2610.00917 (63 tasks).
TB4 = {
    "OpenHands":  {"Claude Opus 5": 0.5714, "GPT-6 Astra": 0.4921},
    "DSH":        {"Claude Opus 5": 0.3492, "GPT-6 Astra": 0.5238},
    "PI":         {"Claude Opus 5": 0.3016, "GPT-6 Astra": 0.6032},
    "openJiuwen": {"Claude Opus 5": 0.4127, "GPT-6 Astra": 0.5397},
}

def gaps(table):
    for harness, row in table.items():
        diff = (row["Claude Opus 5"] - row["GPT-6 Astra"]) * 100
        leader = "Claude" if diff > 0 else "GPT"
        yield harness, round(diff, 2), leader

results = list(gaps(TB4))
for harness, diff, leader in results:
    print(f"{harness:<11} Claude minus GPT = {diff:+.2f} points, leader: {leader}")

leaders = {leader for _, _, leader in results}
print("ranking changes with the harness:", len(leaders) > 1)
spread = max(d for _, d, _ in results) - min(d for _, d, _ in results)
print(f"spread of the gap across harnesses: {spread:.2f} points")

מקורות ומגבלות

• https://arxiv.org/abs/2610.00917
• https://arxiv.org/html/2610.00917