תוספי AI,2 בנובמבר: גבול הביצוע של AgentCompass

רשומת הערכה צריכה להראות היכן פעלו פקודות, איך נספרו ניסיונות והיכן אומתה התוצאה.

כלי הערכה

AgentCompass מפריד בין Model, Benchmark, Harness ו-Environment. README מציין יותר מ-30 מבחנים ויותר מ-10 מעטפות. תקציר EMNLP מתאר מעל 20 ושלושה רכיבים מרכזיים. אני שומר על ההבדל בין מקורות מתאריכים שונים. סקירת 2 בנובמבר מבוססת על המאגר ותיעוד CLI הנוכחיים. לא התקנתי או הרצתי חבילה.

לקרוא את ברירת המחדל

CLI מציין host_process כברירת מחדל מובנית לפני הגדרות חלופיות. המדריך אומר שאין sandbox והפקודות רצות ישירות על המארח. Docker וספקים מרוחקים הם אפשרויות נפרדות. תמיכה בבידוד אינה בידוד בכל ריצה. צריך לבדוק ספק בפועל, image, חיבורים לקבצים, רשת ותיקיית עבודה. הכינוי container אינו הוכחת הגנה מכל בריחה או גילוי מידע.

האימות עשוי להיות במקום אחר

Benchmark קובע היכן פועל האימות: מארח, סביבה קיימת או סביבה נפרדת. תיעוד backend הסוכן בלבד אינו מספיק. הבודק עשוי לקרוא קבצים ולהריץ קוד בתנאים אחרים. הבדיקה המוצעת שלי תשתמש בקובץ מדומה לא מזיק ותתעד בנפרד ביצוע, אימות, משאבים ורשת. לא בדקתי את הגבולות בזמן ריצה.

ניסיונות וחזרות

k מונה ניסיונות לוגיים עצמאיים בלי retries פנימיים של max-retries. ברירת המחדל לחזרות אפס וניתנת לשינוי. avg מתכנן את כל k ומפיק avg@k; מדד בינארי מפיק גם pass@k. pass מתאים רק לנכונות בינארית ועוצר בהצלחה או בגבול. scalar עם pass נדחה לפני התחלה. ההבחנה משנה זמן, עלות ושיעור הצלחה.

המשך תואם

reuse משתמש בפרטים מלאים תואמים שאינם צריכים retry לפי המדיניות הנוכחית, או checkpoints למשימות לא גמורות בלי פרט מלא. אין הבטחה להמשיך הכול. יש לקבע גרסאות משימה ומעטפת, endpoint, סביבה וניקוד ולבדוק מה שומש שוב. ה-JSON למטה הוא רשומת ביקורת מוצעת, לא סכמת הגדרות מאומתת של AgentCompass.

גרסה ורישיון

README מכריז על PyPI v1.0.0 הראשון ב-30 בספטמבר. main pyproject.toml הנוכחי מציין 1.1.0 ו-Python >=3.12. לא אימתתי wheel שפורסם תואם. LICENSE הוא Apache 2.0 למסגרת, אך נתונים, API, images וספקים כפופים לתנאים ועלויות נפרדים. קוד פתוח אינו ריצה חינמית או אישור לשלוח משימות פרטיות.

הניסוי הראשון

בסביבה זמנית מורשית לקבע משימה, מודל, benchmark ו-harness. להשוות בסיס, כשל תשתית לא מזיק והמשך מבוקר. לבדוק ניסיונות לוגיים, ביצועים פיזיים, מקום אימות וקבצים שנשמרו. קלט מדומה וסודות מחוץ לעקבות. זו תוכנית בלי תוצאות נטענות. ההשוואה עדיין צריכה לתאר בדיוק את תנאיה.

{"trial":"proposed_not_run","framework_revision":"PIN_ME","execution_provider":"EXPLICIT","verification_provider":"EXPLICIT","logical_attempts":null,"physical_executions":null,"reused_artifacts":[],"secrets_in_traces":false}

מקורות

• https://github.com/open-compass/AgentCompass
• https://raw.githubusercontent.com/open-compass/AgentCompass/main/LICENSE
• https://raw.githubusercontent.com/open-compass/AgentCompass/main/pyproject.toml
• https://agent-compass.mintlify.app/en/user_guide/using_agentcompass/cli/run
• https://agent-compass.mintlify.app/en/user_guide/modules/environments/overview
• https://aclanthology.org/2026.emnlp-demos.25/