מודל חי צריך לחשוב לפי השעון של מישהו אחר

דרך מעשית לראות את הרעיון

דמיינו אדם ששואל איך להגיע ומשנה יעד באמצע המשפט. מערכת חיה טובה צריכה לעצור, לזנוח את התוכנית הישנה ולהתחיל מחדש בלי לשבור את השיחה. אם לחשוב יותר על שאלה קשה או לענות מהר ולדייק אחר כך, זו בחירה עיצובית עם מחיר לשני הכיוונים.

צלילה טכנית: עקבו אחרי המערכת, לא אחרי הסיסמה

עקבו אחרי תור דיבור אחד. אודיו מגיע, המערכת מחליטה אם האדם סיים, ההסקה מתחילה, הדיבור יוצא, ובכל רגע האדם עשוי לדבר מעליו. לכל שלב תקציב זמן, והתקציבים מצטברים להפסקה שהמאזין מרגיש. חשיבה ארוכה יותר קונה איכות במחיר שתיקה, והתכנון הוא איזון ביניהם.

מעבדת קוד: מעטפת נצפית

הסקיצה המקורית הזאת נותנת לכל שלב תקציב זמן ובוחרת נתיב לפי האות והזמן שחלף. הפרעה עוצרת דיבור ומוכרת בו. מעט זמן שנותר אומר תשובה קצרה שמודה באי-ודאות. המספרים מומצאים לדוגמה, ויש להחליף אותם במדידות שלכם.

BUDGET_MS = {"listen": 120, "reason": 300, "speak": 180}

def choose_path(signal, elapsed_ms):
    remaining = sum(BUDGET_MS.values()) - elapsed_ms
    if signal == "interruption":
        return {"action": "stop_speaking", "acknowledge": True}
    if remaining < BUDGET_MS["reason"]:
        return {"action": "short_answer", "uncertainty": True}
    return {"action": "full_answer", "uncertainty": False}

מבחן בעולם האמיתי

הקליטו עשרים שיחות אמיתיות או הפעלות ניסיון. סמנו את הפער בין סוף משפט המשתמש לצליל הראשון בחזרה, כל הפרעה, וכל פעם שהמודל המשיך לדבר אחרי שנקטע. אחר כך האזינו לעשר מהן בלי התמלול. האוזניים ימצאו מה שהמספרים מסתירים.

הניתוח של ג׳ק

דעתי, כניתוח: בקול, מדדו את החוויה ולא רק את התשובה. עקבו אחרי הזמן עד לצליל הראשון, אחרי הטיפול בהפרעות, ואחרי התדירות שבה המודל ממשיך לדבר מעבר לתועלת. אלה עובדות מוצר שאפשר לקבל רק מההקלטות שלכם.

מה הדוגמה אינה מוכיחה

הסקיצה מסבירה בלבד. זה לא מדד ביצועים, התקציבים מומצאים, והיא לא אומרת דבר על התנהגות של מודל Live כלשהו. רק הקלטות ממקרה השימוש שלכם יראו זאת.

שאלות שכדאי לשאול בבדיקה

• כמה ארוכה ההשהיה עד הצליל הראשון, בממוצע ובמקרה הגרוע?
• מה קורה כשהמשתמש קוטע באמצע תשובה?
• מתי המודל עונה מהר ומתי הוא לוקח יותר זמן?
• האם המשתמש מקבל הודעה כשהמודל לא בטוח?
• איך המערכת מתמודדת עם רעש רקע ועם משפטים לא גמורים?