סקירת Prompt Lab: כללי השוואה שימושיים, המנקד דורש תיקון
Prompt Lab מספק מקרי בדיקה משותפים ומחוון מוצהר להשוואת הנחיות. בדיקת מקור וניסויים מקומיים קטנים במנקד מצאו מגבלות שיש לתקן לפני הסתמכות על הציונים.
Prompt Lab מספק מקרי בדיקה משותפים ומחוון מוצהר להשוואת הנחיות. בדיקת מקור וניסויים מקומיים קטנים במנקד מצאו מגבלות שיש לתקן לפני הסתמכות על הציונים.
מה נבדק
הסקירה עוסקת בגרסה הציבורית0.1.1, רוויזיה e7e5027c6e6522bf8e2b6dae9ff25744c9451f35, שנבדקה ב-29 באוקטובר2026. זה תוסף ZCode עם מנקד בספרייה התקנית של Python ורישיון MIT. קראתי README, מיומנות וקוד והרצתי מקרי ניקוד סינתטיים קטנים. לא הפעלתי ZCode או השוואת מודלים ולא מדדתי עלויות ספק. הבעלים ביקש סקירה; הממצאים עצמאיים מקישורי ההפניה באתר.
העיצוב השימושי
שתי הגרסאות מקבלות אותם מקרים ומחוון משוקלל מראש. התהליך המתועד דורש סוכן חדש לכל מקרה/גרסה/חזרה ורושם runs.json ליד הפלטים, בלי לחשוף למבצע את המחוון והתכונות הצפויות. זה מסייע להפחית זליגה בין גרסאות. המנקד עצמו אינו יוצר סוכנים ואינו מוכיח בידוד; יומן מתעד דיווח על ביצוע. README מסביר התקנה בחנות ופקודת /prompt-lab עם שני נתיבים, מקרים, מחוון ומספר חזרות.
שני מבחנים מספריים שנכשלו
כתבתי OK בקובץ A-run1.txt ו-FAIL בקובץ A-run2.txt למקרה עם דרישה להכיל OK. ב-runs_per=2 המנקד קרא OK פעמיים והחזיר1.0. compute_scores קורא ל-collect_outputs עם1 במקום מספר החזרה הנוכחי. בדיקה נפרדת עם מקרה ראשון עובר ושני נכשל החזירה1.0 ו-0.5; השני אמור לקבל0.0 עבור הדרישה לבדה. got_w ו-total_w מצטברים גם ממקרים קודמים. אלו בדיקות חשבון ובחירת קבצים, לא מודל.
שיפוט ממתין ובדיקה מילולית
עם דרישה אוטומטית ואחת ידנית שלא נשפטה, האגרגציה הכריזה על מנצח כאשר לשתי הגרסאות pending_manual=1. המונה גלוי אך אינו אוכף את הבטחת README להמתין לשיפוט. התכונה no invented numbers נבדקת כהיעדר הביטוי invented numbers עצמו, לא כהיעדר מספר מומצא. contains ו-regex מתאימים לפורמט; אמת עובדתית והסבר סיבתי להשפעת ניסוח דורשים בדיקה נוספת.
מה הייתי מתקן
יש לקרוא את מספר החזרה המדויק, לעצור כשקובץ חסר ולאפס מונים בכל חזרה ומקרה. יש לחסום הכרעה סופית כשנדרש שיפוט ידני שטרם הושלם או לסמן אותה כזמנית. תכונות משמעות יישפטו ידנית והיומן ייבדק מול מטריצת ההרצות. בדיקות רגרסיה צריכות לכלול פלטים שונים, חזרה שנייה חסרה, שינוי סדר הצלחה וכישלון ושיפוט ממתין. אלו המלצות, לא תיקונים שביצעתי במאגר. עד אז אשתמש בתהליך כרשימת בדיקה ואקרא פלטים במקום לבחור הנחיה לפי הציון הנוכחי.