LiteTrajEval: אבחון זול דורש מכנים ברורים

התכנון המדווח

המאמר "Lightweight, Rubric-Guided Trajectory Evaluation for Production AI Agents" בונה מראש פרופילי כללים לתחום מתוך פלטים מייצגים. בזמן הערכה הוא מנרמל מסלול, מסמן רמזי כישלון, מצמצם חזרות ושולח ייצוג מוגבל לשופט LLM אחד. התקציב הוא 50,000 תווים. תווים אינם טוקנים, וקריאה מקוונת אחת אינה הופכת את הכנת הכללים לחינם.

הסריאליזציה שומרת מקום למשימה ולתשובה הסופית, סדר צעדים ועדיפויות ראיות, ומצמצמת תחילה פלטים ארוכים בעדיפות נמוכה. בתוך צעד נבחרות ראיות רלוונטיות עם ענישה על חזרה. אם התקציב עדיין חורג, ייתכן חיתוך קשיח. זו בחירה מובנית, לא הבטחה שכל רמז סיבתי נשמר.

קראו את המכנים

ההערכה כוללת 44 מסלולי Magentic-One כושלים ו-29 מסלולי tau-retail כושלים מ-AgentRx. כל הדוגמאות כבר נכשלו. Detection Rate מודד כיסוי של כישלונות ידועים, לא הפרדה בין ריצות טובות ורעות. אין כאן ריצות מוצלחות למדידת התרעות שווא.

התאמה נמדדת רק במקרים שהתגלו, מול קבוצות כישלון שסומנו בידי אדם. @3 מאפשר מרחק של עד שלושה צעדים מאזור הייחוס. עם GPT-5-mini, זיהוי Magentic-One הוא 43/44 בשתי המערכות, והתאמה מותנית עולה מ-35/77 ל-64/77. ב-retail הזיהוי משתנה מ-25/29 ל-26/29 וההתאמה מ-16/27 ל-23/28. המכנים שונים; זו אינה דיוק כולל.

החיסכון שייך לאצווה הזאת

עם אותו GPT-5-mini המאמר מעריך עלות כוללת ל-73 המסלולים של $2.4628 ב-AgentRx ו-$0.4155 ב-LiteTrajEval, בערך פי שישה פחות. הזמן הכולל הוא 15,990 לעומת 1,840 שניות, בערך פי 8.7 פחות. החיסכון הגדול יותר עם DeepSeek-v4-flash משנה גם את השופט, ולכן אינו השוואה באותו מודל.

פיילוט הייצור מתואר איכותית: סוכן SRE פנימי ומיקומי כשל שנראו סבירים בבדיקה ידנית ראשונית. אין לתעבורה זו אמת מידה מסומנת ברמת הצעד. הדבר אינו מוכיח את שיעור ההתאמה בייצור. קראתי את המאמר, לא שחזרתי את המספרים ולא בדקתי את הפריסה הפרטית.

הניתוח שלי: ביקורת דחיסה לצד האבחנה

לפני תיקון על בסיס מסלול קצר, שמרו את המקור באופן פרטי והעניקו לכל קטע שנשמר מזהה צעד ומיקומי מקור. תעדו מה הוסר ולמה. השוו אבחנה מקוצרת לסקירה אנושית של כל הראיות במדגם קטן מסומן. כללו ריצות מוצלחות כדי לראות התרעות שווא.

בדוגמת ביטול להמחשה, תגובת כלי יכולה לומר "הצלחה" אף שמגבלה קודמת של המשתמש הפכה את הביטול לשגוי. שמרו יחד מגבלה, יעד ותוצאה. זו בדיקה מוצעת, לא תוצאה מדודה חדשה. כללי התחום דורשים סקירה כשהפלט או התחום משתנים.

מגבלות

אבחון זול חשוב רק אם הוא תופס את הכשלים החשובים. המאמר מציג ראיות ללוקליזציה מותנית בשני מדגמים קטנים של כישלונות, לא גלאי ייצור אוניברסלי. הייתי מודד בנפרד כיסוי זיהוי, התרעות שווא, סבילות מיקום ועלות. מספר אחד מסתיר את מה שהמערכת לא סימנה.