סקירת Fable: הכנה מהירה יותר אינה סוכן מהיר או טוב יותר
מבחן שסופק ל-23 משימות מציג זמן הכנת חבילה קצר יותר, אך הציונים בתקרה. באג המטמון תוקן והרישוי לא ברור.
FABLE · SOURCE + OWNER-SUPPLIED BENCHMARK · 25 SEP 2026
Fable פותח באילוץ שימושי: לפני שסוכן מתמודד עם משימה, הוא מחפש לקחים מעבודה קודמת. בנצ׳מרק חוזר על 23 משימות שסיפק בעל הפרויקט מרמז שהבאה מקבילית ב-v0.20.0 מקצרת את זמן ההכנה בחצי. זה לא אותו דבר כמו לפתור משימות מהר פי שניים או טוב יותר. קראתי את הקוד והפרדתי בין הטענות.
הליבה של Fable
- לקחים מקומיים לפני שליפה חיצונית
- חבילה מהירה ב-23 מתוך 23 משימות
מגבלות
- תקרת 100/100: לא נמדד שיפור איכות
- קובץ LICENSE ראשי חסר; למנועים תנאים שונים
איך זה עובד ואיפה להשתמש בו
search.js בודק לקחים מקומיים ב-JSONL, ואחריו retrieve.js מדרג עקבות מחמישה מאגרי Hugging Face. boost.py בונה חבילה מייעצת: Laya ממיין רלוונטיות ב-Apple Silicon ו-Headroom דוחס, עם גיבוי להסרת כפילויות. route.py בוחר מסלול ו-record.js שומר לקח. MCP, וידאו, התקנה ובקרת אבטחה הם יכולות נוספות עם גבולות אמון נפרדים.
אפשר למצוא תיקון קודם לבדיקה שנכשלת שוב או רעיונות לבדיקת CLI לא מוכר. ULTRA --fast מדלג על דחיסה. עקבות חיצוניים הם נתונים ולא הוראות להרצה. התיעוד דורש Node 18+ ו-Python 3.10+ ומתאר scripts/setup.py; קראנו קוד אך לא הרצנו התקנה או שחזרנו את המבחן.
איך הרצו את הבנצ׳מרק
קובץ ה-HTML משווה הרצה חדשה של v0.20.0 ב-a86b9fb לארכיון v0.12.0 על 23 משימות. קבוצת הביקורת ללא Fable לא הורצה שוב. הדוח מתאר מאגר התחלתי ריק, ציונים דטרמיניסטיים וביטול והרצה מחדש של שתי קבוצות עקב prompt.md חסר; לא אימתנו זאת בעצמנו.
תוצאות 23 המשימות
חציון זמן הכנת החבילה ירד מ-26.0 ל-12.7 שניות (−51.2%) לפי שעון המבחן; כל 23 המשימות מהירות יותר. ממוצע שלוש משימות ULTRA: מ-25.3 ל-13.2 שניות. הטבלה מציגה כל זוג. כל משימה קיבלה 100/100 בשתי הגרסאות - תקרת הציון אינה שיפור איכות. המאגר גדל מ-0 ל-23 כרטיסים שנכתבו במנגנון המבחן, לא באימון מחדש. הניתוב נשאר 20 BOOST ו-3 ULTRA, מסלול smart לא פעל ותוצאות דיכוי הציטוטים מעורבות.
גללו הצידה לכל העמודות
| משימה | חבילה v0.12.0, ש | חבילה v0.20.0, ש | חיסכון, ש | Route |
|---|---|---|---|---|
| C1 | 28.09 | 12.77 | 15.32 | BOOST |
| C2 | 26.32 | 11.35 | 14.97 | BOOST |
| C3 | 27.05 | 12.85 | 14.20 | BOOST |
| C4 | 26.08 | 11.52 | 14.56 | BOOST |
| T1 | 20.55 | 12.90 | 7.65 | BOOST |
| T2 | 25.80 | 12.61 | 13.19 | BOOST |
| T3 | 26.55 | 13.41 | 13.14 | BOOST |
| T4 | 26.79 | 12.47 | 14.32 | ULTRA |
| D1 | 26.34 | 12.06 | 14.28 | BOOST |
| D2 | 23.84 | 13.21 | 10.63 | BOOST |
| D3 | 25.30 | 12.40 | 12.90 | BOOST |
| D4 | 24.51 | 12.27 | 12.24 | BOOST |
| L1 | 26.41 | 12.43 | 13.98 | BOOST |
| L2 | 25.62 | 13.03 | 12.59 | BOOST |
| L3 | 25.78 | 12.41 | 13.37 | BOOST |
| L4 | 28.37 | 13.23 | 15.14 | BOOST |
| X1 | 25.36 | 13.16 | 12.20 | BOOST |
| X2 | 27.45 | 7.56 | 19.89 | BOOST |
| X3 | 26.77 | 13.53 | 13.24 | BOOST |
| X4 | 25.37 | 12.51 | 12.86 | BOOST |
| S1 | 24.57 | 12.81 | 11.76 | ULTRA |
| S2 | 26.01 | 12.71 | 13.30 | BOOST |
| S3 | 24.42 | 14.20 | 10.22 | ULTRA |
אזהרה על זמן קיר
ב-12 משימות עם סימון זמן אמין חציון זמן הסוכן עלה מ-84.5 ל-104.9 שניות. הדוח מייחס זאת אולי לשינוי שירות המודל, ללא אימות עצמאי של הסיבה. שלוש הרצות v0.20 איבדו סימון התחלה עקב טעות תיקיית עבודה. זמן בין סבבים אינו מוכיח האצה או האטה כוללת.
באג המטמון שקשור לגרסאות
ב-v0.20.0 שנבדקה, retrieve.js קרא ל-os.path.dirname(HEALTH) ב-Node, שם os.path אינו קיים; catch ריק הסתיר את השגיאה והמטמון לא נשמר. לפי הדוח לא נוצר קובץ בשלוש הרצות. המקור הנוכחי v0.21.0 משתמש ב-path.dirname וה-CHANGELOG מתעד תיקון ב-v0.20.1. בדקנו שינוי בקוד אך לא את הרצת התיקון.
איפה הרישיון נעצר
ה-README טוען לקוד MIT ומצביע על LICENSE, אך הקובץ הראשי חסר ו-GitHub אינו מזהה רישיון. AI4Animation מסומן CC-BY-NC 4.0 ול-Remotion תנאים נפרדים. יש לבדוק רכיבים חיצוניים לפני עבודה עם מידע רגיש.
פסק דין
ההאצה בשלב בניית החבילה אמינה כתוצאה ממדידות ה-harness שסופקו ומתיישבת עם שליפה מקבילית של מקורות. איכות סוכן טובה יותר או פרודוקטיביות מקצה לקצה לא הוכחו. נסו את הליבה הצרה על עבודה לא רגישה, בדקו איזה מנוע גיבוי רץ בפועל, וחזרו על ניסויים מבוקרים לפני שנשענים על טענה רחבה יותר.
פרויקט ומחבר
מקור Fable · גרסת v0.20.0 · שינויים ותיקון.
המקור נבדק ב-25.09.2026 ב-aaeeeb5; תוצאות HTML ל-a86b9fb סופקו ולא שוחזרו עצמאית.