הרצה זולה יותר עדיין צריכה לסיים את העבודה
TokenEconomizer מציע חשבון עלות שימושי. דף המחקר וה-README של התוסף הנוכחי מתארים עצירה אחרת.
TokenEconomizer מציע חשבון עלות שימושי. דף המחקר וה-README של התוסף הנוכחי מתארים עצירה אחרת.
מה קראתי היום
דיון LinkedIn מ-29 באוקטובר הוביל אותי ל-TokenEconomizer, של חוקרים מ-UC Berkeley, Microsoft Research ו-Microsoft Security. באותו מאגר חוזרים ידע, בחירת כלים ושגיאות. קראתי את המקורות ב-31 באוקטובר, בלי להתקין את התוסף או לשחזר את המחקר. העלות מעניינת רק לצד המשימה שהושלמה.
מה נמדד
המחברים מדווחים על ירידה ממוצעת של 18.4-30.9% בעלות בחמישה צמדי סוכן ומודל: 277 משימות SWE-Bench משישה מאגרים. כלולים קריאות המודל של הבקר ותמחור המטמון. המשימות בכל מאגר רצות ברצף ממצב ללא ידע נלמד. זו אינה הבטחה לבקשה בודדת. Pass@1 השתפר בארבעה מחמישה צמדים, ולכן אסור להשמיט את החריג.
עצירה לעומת הנחיה
דף המחקר מתאר הכוונה מחדש לאחר כשל חוזר ואז עצירה, כולל גבול כפוי. ה-README הנוכחי אומר שהתוסף לעולם אינו עוצר תור בעצמו. הוא מכוון מחדש ואז מסביר למשתמש איך להפסיק. אני מפריד בין התנהגות המחקר לבין התוסף המותקן. הרצה ללא השגחה עלולה להמשיך לצבור עלות אחרי האזהרה.
גם זיכרון עולה כסף
מיומנויות קטנות נלמדות מכשלים חוזרים ומהצעות מודל. עובדה דורשת אישור בשלוש שיחות עבודה וניתנת להסרה כשמופיעה סתירה. הן כבויות כברירת מחדל בגלל עלות ההצעה. צמצום כלים ושומר הלולאה פועלים כברירת מחדל. ההגדרות הן חלק מן ההשוואה, לא הערה שולית שאפשר לדלג עליה.
כלי נדיר עדיין נחוץ
הצמצום נוגע בכלים בודדים של Claude Code, בחבילות יכולות Codex או בשרתי MCP שלמים ב-Copilot CLI. אין צמצום כזה ב-Pi וב-opencode כעת; תמיכת opencode ניסיונית. פקודת השחזור מחזירה כלים, וכלי שהוחזר לא מוסר שוב. הייתי כולל משימה מאוחרת שדורשת כלי נדיר ומודד גם את זמן השחזור האנושי.
הניסוי המוצע
במאגר זמני מורשה יש לקבע גרסאות, מודל, רצף משימות וכללי חיוב. אחר כך לשנות פקודת בנייה, לדרוש כלי שלא שימש בעבר ולחזור על כשל. יש לרשום הצלחה, עלות, משך, שחזור ועצירה בפועל ולחזור על ריצת הבסיס. הרשומה למטה היא דוגמת נתונים, לא תוצאת ניסוי ולא מנגנון אבטחה שהופעל.
{"trial":"proposed_not_run","plugin_revision":"PIN_ME","host_version":"PIN_ME","settings":{"microskills":false,"toolprune":"propose"},"results":{"solved":null,"billed_cost":null,"restore_minutes":null,"stop_observed":null}}מה ישכנע אותי
אקבל חיסכון יחד עם ראיות לסיום משימות ולעלות ההתאוששות. LICENSE מאשר Apache 2.0, אך קריאות מודל עדיין עשויות לעלות כסף. שמירה מקומית לפי README אינה הוכחה שעיבוד באמצעות מודל אינו שולח הקשר לספק המוגדר. לא חיברתי חשבונות, מאגרי ייצור או סודות לצורך המאמר.