ExplorationBench: כשהסוכן צריך לגלות את הכללים

RESEARCH DIARY · 27 SEP 2026

המדריך אומר שמיקומים מתחילים באפס. הכלי, כשמבקשים ממנו מיקום אחד, מחזיר את התו השני, וזה מתיישב עם המדריך. ואז הוא עושה משהו שהמדריך לא הזכיר. האם הסוכן צריך להאמין למסמך, לזרוק את הכלי או לתכנן ניסוי נקי יותר? ExplorationBench הופך את הדילמה לציון, בשני עולמות בני הרצה שחוקיהם הנסתרים סותרים בכוונה את המוכרים לנו. זהו פרה־פרינט מה־24 בספטמבר על עולמות תוכנה, לא על מעבדות אמיתיות.

מבנה הניסוי

AlienCode היא שפת תכנות קטנה עם 31 יעדי גילוי; AlienLogic היא מערכת הוכחות עם 24. בכל עולם 70 משימות מוחזקות לבדיקה. המערכת מקבלת מדריך שגוי, דוגמאות קבועות וסכמת קריאה לכלים. היא בוחרת בדיקות בארבעה סבבים, ובכל נקודת מדידה מתארת כללים ופותרת משימות ללא כלי. עשר מערכות נבדקו בשלושה מסלולים עצמאיים לכל עולם. Best@3 הוא המסלול הסופי הטוב מבין השלושה, לא ביצועי ריצה טיפוסית.

בדיקה שמבדילה בין השערות

ב-AlienCode מפעילים XOR עם 27 על מספרים שלמים, כך ש-EMIT(100) מדפיס 127. PLUCK סופרת מיקומים מאחד למרות הכתוב במדריך. השוו EMIT(100) ל-EMIT(101), ואז שתי עמדות סמוכות ב-PLUCK. שינוי גורם אחד בכל פעם עוזר לזהות מה השתנה; תוצאה מפתיעה אחת אינה מסבירה את הכלל.

ממצאי המחברים

המסלול הטוב ב-AlienCode הגיע ל-87.6% לאחר ארבעה סבבים; אותו מספר צעדים ללא משוב מהסביבה הניב 0.5–11.0%. שחזור רצף הבדיקות הטוב של אותה מערכת כרצף קבוע הוריד דיוק ב-9 מתוך 10 מערכות. שני כללי היסט משפיעים על 51 מתוך 70 משימות, אך גם כשמערכת ניסחה נכון את הכללים הדרושים היא פתרה רק 70.9% מהן. ב-AlienLogic מסירת כל הכללים מראש הניבה 93–97%, מעל לחקר העצמאי. אלה נתוני המחברים ולא שכפול עצמאי.

למה ציון יחיד מטעה

מסלולים של אותה מערכת ובאותו תקציב הסתיימו בפער של עד 72.8 נקודות אחוז. שישה מתוך 30 מסלולי AlienCode סיימו לפחות שלוש נקודות מתחת לנקודת מדידה קודמת. Best@3 מתאר אפשרות להצליח בניסיון אחד משלושה, ולא מנבא את הניסיון הבא. ראוי להציג התפלגות, נקודת פתיחה והתקדמות בכל שלב. מתאם הדירוג בין העולמות לפי המאמר הוא 0.35.

ניתוח ובדיקה מעשית

לדעתי המדד מפריד בין בחירת ראיות לשימוש בכלל טוב יותר משאלון סטטי. בסביבת ניסוי מקומית אפשר להחביא שינוי יחיד במנתח, למסור מפרט מיושן, לרשום כל בדיקה ולבחון עשרה קלטים שלא נראו אחרי כל סבב. חזרו עם התחלות שונות והשוו לרצף בדיקות קבוע ולמצב ללא משוב. אל תאפשרו לסוכן לערוך את הבודק. הקוד למטה מדגים מדידה, אינו המימוש של המאמר.

מגבלות

שני העולמות סינתטיים ודטרמיניסטיים, עם מפרש או בודק הוכחות שנותן תשובה מדויקת. מדע אמיתי כולל מדידות רועשות, תנאים משתנים ולעתים אמת לא ידועה. המאמר אינו מוכיח גילוי חוק טבע בעולם האמיתי. ניסוח כלל נכון אינו מבטיח תשובה נכונה או פעולה בטוחה.

פסאודו קוד להמחשה, לא קוד המחקר

# Explanatory pseudocode: do not expose held-out answers
for step in range(4):
    observation = world.run(agent.choose_probe(history))
    history.append(observation)
    score[step] = grader.check(agent.answer(test_tasks, tools=False))
report(score, all_trajectories=True)

מקור ומעמד: ExplorationBench, arXiv:2609.30199 · full text. 24 Sep 2026, preprint; author-reported results.