סקירת Agnes 3.0 Flash Overclock: בודק פלט, פאנל QA ומבחן יושרה
קריאה במאגר הציבורי Agnes 3.0 Flash Overclock: מה יש בו, מה הרצתי בעצמי, ומה המסמכים שלו עצמם אומרים שלא נבדק. החלק החזק ביותר הוא כמה בגלוי הוא מציין את מגבלותיו.
קל להאמין למאגר שכותב «ניסיוני» כבר בעמוד הראשון, ולכן שכפלתי אותו והרצתי. קראתי את ה-README, יומן השינויים, התיעוד והקוד בקומיט 077e4ab, והרצתי אצלי את חבילת הבדיקות ואת פקודות הדוגמה. את Agnes עצמו לא הרצתי, ולכן אין כאן מבחן ביצועים של המודל.
שורה תחתונה
זו ערכת פייתון קטנה שמסתמכת על הספרייה הסטנדרטית בלבד: בודק דטרמיניסטי לפלט של מודל, שיטת QA עם 25 סוקרים, סורק סטטי לקוד ממשק «גנרי», פורמט אופציונלי להוכחת מסירה, נתב מבוסס מילות מפתח ושרת MCP עם שישה כלים. לדעתי החוזק העיקרי שלה הוא יושרה בדיווח: ה-README אומר מה נמדד (מעט) ומה לא (רוב). זו נקודת פתיחה מתועדת היטב, לא שיפור איכות מוכח.
מהו המאגר
המאגר מתואר כערכה ניסיונית להנדסת פרומפטים ולאימות עבור Agnes 3.0 Flash, שנבנתה סביב תסריטי וידאו קצרים ברוסית, שכתוב ששומר על המקור ו-JSON מוגבל. ה-README מגדיר «overclock» ככוונון של תהליך העבודה, לא שינוי משקלי המודל ולא הוכחה לאיכות מרבית. הוא מציין שהוא אינו מותקן בשום צנרת ייצור.
נדרש פייתון 3.10 ומעלה והספרייה הסטנדרטית בלבד. הבודק אינו צריך מפתח API ואינו פונה לרשת. קובץ LICENSE הוא רישיון MIT, והמאגר כולל שתי מיומנויות של מחברים אחרים עם קובצי הרישיון שלהן.
מה הראה מבחן הייחוס
ה-README מדווח על שש משימות ושתי דגימות לכל תנאי, כאשר 35 מתוך 36 קריאות מתוכננות הושלמו ב-10 באוקטובר 2026. אלה המספרים שפורסמו.
| תהליך | בדיקות אוטומטיות שעברו | דגימות שעברו במלואן |
|---|---|---|
| בקשה רגילה | 47/56 (84%) | 5/11 |
| פרומפט מותאם בלבד | 36/51 (71%) | 3/11 |
| פרומפט מותאם + מעבר עורך | 43/49 (88%) | 6/10 |
בדיקות אוטומטיות שעברו
דגימות שעברו במלואן
תרשים של התוצאות שהמאגר מדווח עליהן, לא המדידות שלי. המאגר מציין: הפלטים הגולמיים אינם בו ולכן אי אפשר לשחזר את הציונים, הייחוס היה מערך תשובות שכתב המחבר, המכנים שונים (פלטים ריקים או חלקיים הוצאו), לא היה שופט איכות סמוי, ואין תמיכה בטענת שוויון מול מודל אחר. אחוזי הבדיקות הם של המאגר (47/56, 36/51, 43/49). אחוזי הדגימות הם חישוב שלי על המספרים שלו (5/11, 3/11, 6/10).
ה-README מכנה אותם ציוני בדיקת אילוצים מכווינים בלבד. פלטים ריקים או חלקיים הוצאו, המכנים שונים, לא היה שופט איכות סמוי, והייחוס היה מערך תשובות שכתב המחבר, לא הרצה מאומתת של מודל אחר. הוא קובע שאין תמיכה בטענת שוויון. דוח המבחן מוסיף שאי אפשר לשחזר את הסיכומים מהמאגר, כי חסרים הפלטים הגולמיים, התשובות המלאות, מנגנון הציון המקורי ויומן הקריאות, ושב-4 מתוך 36 הדגימות המתוכננות חסרות במכנים וזהותן אינה ניתנת לשחזור. שיפוטי: גילוי כזה נדיר, ורק בזכותו המספרים שימושיים כרמז ולא כתוצאה.
חמשת החלקים
- בודק פלט.
check.pyבודק טווחי מילים, JSON קפדני, משכי סצנות, אילוצי פסקאות, ערכים מספריים וטקסט עוטף לשש משימות מוכנות. הרצתי את טיוטת הדוגמה והיא עברה. ה-README מציין שהצלחה אינה הוכחת אמת, ושבדיקות המספרים משוות קבוצות ערכים ולא שיוכים. - פאנל QA של 25 סוכנים. שיטה עם 25 זוויות ב-5 גלים של 5, וכלי שורת פקודה לא מקוון שמכין תדריכים, מאחד דוחות ובודק מצב תיקונים. המאגר אינו יכול להפעיל סוכנים; הכלים בודקים רישום בלבד. התיעוד אומר שההרצה מצאה חסימה אחת ו-11 ממצאים משמעותיים, ושהמספרים הללו מרשימת הסוכן המוביל ולא מביקורת עצמאית.
- מסנני unslop לממשק. פרומפט וסורק מבוסס ביטויים רגולריים לקוד פרונטאנד גנרי למראה. על sloppy.css הסינתטי של המאגר קיבלתי 12 ממצאים, 9 מהם גבוהים או קריטיים; על clean.css אפס. התיעוד אומר שהכללים מנוסחים מחדש והם עניין של טעם, שרישיונות המקור לא נבדקו, ושסריקה נקייה אינה אישור.
- שער הוכחת מסירה. מעטפת JSON אופציונלית עם גיבובי קבצים, יומן פקודות, רשומות בדיקות והצהרות על בדיקה חזותית. התיעוד מפורש: נבדקים נוכחות וצורה ולא אמת, ויומן מומצא אך סביר עלול לעבור. הדוגמה שהרצתי עברה.
- נתב חכם ושרת MCP.
route.pyמחזיר רק את ההנחיות למשימה ולשלב אחד לפי התאמת מילות מפתח, בלי מודל. שרת ה-MCP חושף שישה כלים: agnes_check, agnes_list_tasks, agnes_get_prompt, agnes_build_messages, agnes_route ו-agnes_review_messages.
מה הרצתי
בקומיט 077e4ab החבילה המלאה דיווחה על 113 בדיקות, OK, אחת דולגה (בדיקת הרשת האופציונלית), תוך כ-8 שניות. ה-README מציין את אותו מספר. דוגמאות הבודק, הסורק, הנתב ושער ההוכחה פעלו כמתועד. לא הרצתי אינטגרציות מארח (Cursor, Codex, Claude Code ואחרות) ולא הייתה לי גישה ל-Agnes, ולכן הפרומפטים, מעבר העורך ולולאת התיקון v2 לא אומתו על ידי. המאגר אומר זאת בעצמו.
היכן הוא חזק
- הטענות תואמות את הראיות. כל הרחבה מסומנת כלא נבדקה, והסתייגויות המבחן מופיעות לצד המספרים.
- קטן וניתן לביקורת. ספרייה סטנדרטית בלבד, כ-2,800 שורות פייתון כולל בדיקות, בלי מפתחות.
- משיכה מרחוק זהירה. המסלולים המרוחקים משתמשים במקור קבוע, בלי הפניות, עם מגבלת זמן, תקרת גודל וסימון טקסט לא מהימן, והבדיקות מכסות אותם ברשת מדומה.
היכן הוא דק
- בסיס הראיות. התוצאה המדודה היחידה היא מבחן קטן אחד על משימות וידאו קצרות ברוסית, שאי אפשר לשחזר מהמאגר.
- צורה, לא אמת. הבודק, השער והסורק מאמתים צורה. עדיין נדרשת סקירה אנושית של עובדות וקול, כפי שהמאגר אומר.
- תמיכה במארחים לא הוכחה. הגדרות MCP לכל מארח הושוו לתיעוד הספקים, ואף מארח לא הורץ מקצה לקצה.
- בודק צר. ההגדרות המוכנות מכוונות לתסריטי וידאו ברוסית; לשימושים אחרים צריך לכתוב אילוצים משלך.
גילוי נאות
שלושה מסלולים במאגר, jg-prompts, jg-mcp ו-jg-extensions, מושכים דפים קטנים מהאתר הזה, זה שאתם קוראים עכשיו. אין לי השפעה על אופן כתיבת המאגר, וניסיתי לסקור אותו לפי אותו קנה מידה כמו כל מאגר אחר. עדיין כדאי לקחת זאת בחשבון.
איך הייתי מעריך אותו
הריצו את הבודק הלא מקוון על פלטים שכבר יש לכם, ובדקו אם ההפרות שלו תואמות מה שעורך היה מסמן. מדדו את מעבר העורך על המשימות שלכם, תוך השארת ריצות כושלות וריקות בספירה. המספרים יהיו שלכם; אין לי מספרים להוסיף ואני לא מפרסם מספרים מדומים.
מקורות ומגבלות
הסקירה משקפת את המאגר בקומיט 077e4ab כפי שקראתי אותו. המאגר משתנה לעיתים קרובות, ולכן בדקו את הקישורים. אימתתי התנהגות רק עבור הפקודות הלא מקוונות שצוינו למעלה.
- https://github.com/romangalaxys10-spec/agnes-3-flash-overclock
- https://github.com/romangalaxys10-spec/agnes-3-flash-overclock/blob/main/README.md
- https://github.com/romangalaxys10-spec/agnes-3-flash-overclock/blob/main/CHANGELOG.md
- https://github.com/romangalaxys10-spec/agnes-3-flash-overclock/blob/main/LICENSE
- https://github.com/romangalaxys10-spec/agnes-3-flash-overclock/blob/main/docs/benchmark-report.md
- https://github.com/romangalaxys10-spec/agnes-3-flash-overclock/blob/main/docs/qa-panel.md
- https://github.com/romangalaxys10-spec/agnes-3-flash-overclock/blob/main/docs/unslop.md
- https://github.com/romangalaxys10-spec/agnes-3-flash-overclock/blob/main/docs/proof-of-delivery.md
- https://github.com/romangalaxys10-spec/agnes-3-flash-overclock/blob/main/docs/routing.md
- https://github.com/romangalaxys10-spec/agnes-3-flash-overclock/commit/077e4abbe37f38844fc803ba563af9c445958028