שימו סוכנים בחברה ותסתכלו על המערכת, לא על הפרומפט

דרך מעשית לראות את הרעיון

דמיינו יום עבודה רגיל של קבוצת סוכנים שחולקת מאגר אחד. אף אחד לא תוקף כלום. סוכן אחד נדיב מעט מדי, אחר זהיר מעט מדי, והכלל של אתמול נזכר רק למחצה. השאלה אינה אם תשובה בודדת טובה. השאלה היא אם אפשר אחר כך לשחזר איך הקבוצה הגיעה למקום שבו היא נמצאת.

צלילה טכנית: עקבו אחרי המערכת, לא אחרי הסיסמה

עקבו אחרי הקבוצה דרך ארבע שאלות. מה כל סוכן יודע בהתחלה ומי נתן לו את הידיעה? מה משנה את המצב המשותף: הודעות, החלפות, הצבעות? מה שורד בזיכרון מסבב לסבב? ומי, אם בכלל, יכול לעצור את הכול ולקרוא את הרישום? חברה היא בעיית זרימת נתונים שהוצמדו אליה דעות.

מעבדת קוד: מעטפת נצפית

הסקיצה המקורית הזאת היא ביקורת של יומן, לא יותר. היא אינה משחזרת את הסימולציה במקור. היא מראה את ההרגל שהופך קבוצת סוכנים להסברתית: לכל פעולה יש פועל, שינוי משאב וראיה, וכל דבר לא מוסבר או גדול מדי מקפיץ התראה.

from dataclasses import dataclass

@dataclass
class Event:
    actor: str
    action: str
    resource_delta: int
    evidence: str

def audit(events):
    balances, alerts = {}, []
    for e in events:
        balances[e.actor] = balances.get(e.actor, 0) + e.resource_delta
        if not e.evidence or abs(e.resource_delta) > 10:
            alerts.append(e)
    return balances, alerts

מבחן בעולם האמיתי

הריצו חברה קטנה של סוכנים משלכם שלושה ימים: יום שקט, יום עם משאב נדיר ויום שבו סוכן אחד מקבל עובדה שגויה. השוו יומנים. התוצאה המועילה: האם מבקר שקורא רק את היומן יכול לומר מי עשה מה ולמה.

הניתוח של ג׳ק

הקריאה שלי, וזו קריאה ולא תוצאה מדווחת: ערכה של סימולציה ארוכה טמון פחות באפיזודה הדרמטית ויותר בהנהלת החשבונות המשעממת שמאפשרת להסביר אותה. קבוצת סוכנים שאי אפשר לבקר היא קבוצה שאי אפשר לשפר.

מה הדוגמה אינה מוכיחה

הסקיצה מסבירה בלבד. זה לא מדד ביצועים, היא לא מודדת התנהגות של סוכנים אמיתיים, והסף בה שרירותי. מחקר אמיתי צריך אוכלוסייה מוגדרת, תנאים מתועדים וריצות חוזרות.

שאלות שכדאי לשאול בבדיקה

• אילו התנהגויות במקור הן תוצאות מדווחות ואילו פרשנות המחברים?
• כמה זמן רצה הסימולציה עד הכשל הראשון?
• מה סוכן זוכר ומי מחליט מה לשכוח?
• אילו תמריצים הוגדרו על ידי המעצבים ואילו צמחו מעצמם?
• האם קורא חיצוני יכול לשחזר אירוע מהיומן בלבד?