مراجعة Prompt Lab: قواعد مقارنة مفيدة والمقيّم يحتاج إصلاحا
يوفر Prompt Lab حالات مشتركة ومعيارا معلنا لمقارنة التعليمات. كشفت مراجعة المصدر واختبارات محلية صغيرة قيودا يجب إصلاحها قبل الاعتماد على الإجماليات.
يوفر Prompt Lab حالات مشتركة ومعيارا معلنا لمقارنة التعليمات. كشفت مراجعة المصدر واختبارات محلية صغيرة قيودا يجب إصلاحها قبل الاعتماد على الإجماليات.
نطاق المراجعة
تغطي المراجعة النسخة العامة0.1.1 والمراجعة e7e5027c6e6522bf8e2b6dae9ff25744c9451f35 في29 أكتوبر2026. المشروع إضافة ZCode مع مقيّم بمكتبة Python القياسية وترخيص MIT. قرأت README والمهارة والشفرة وشغلت حالات تقييم اصطناعية صغيرة فقط. لم أشغل ZCode أو مقارنات نماذج أو أقس تكاليف مزود. قدم المالك المشروع للمراجعة؛ النتائج مستقلة عن روابط الإحالة في الموقع.
التصميم المفيد
يتلقى البديلان الحالات نفسها ومعيارا موزونا محددا مسبقا. تطلب الخطوات الموثقة وكيلا جديدا لكل حالة وبديل وتكرار، وتسجل runs.json بجوار المخرجات دون تمرير معيار الحكم أو الخصائص المتوقعة للمنفذ. هذا يقلل تسرب الإجابات بين البدائل. لكن المقيّم لا ينشئ الوكلاء ولا يتحقق من عزلهم؛ السجل يوثق ادعاء التنفيذ ولا يثبت نظافة السياق. يشرح README التثبيت عبر المتجر وأمر /prompt-lab بمساري التعليمات والحالات والمعيار والتكرارات.
اختباران عدديان فشلا
وضعت OK في A-run1.txt وFAIL في A-run2.txt لحالة واحدة بمعيار يحتوي OK. عند runs_per=2 قرأ المقيّم OK مرتين وأعاد1.0. يستدعي compute_scores الدالة collect_outputs بالعدد1 بدلا من التكرار الحالي. وفي حالتين، الأولى ناجحة والثانية فاشلة، أعاد1.0 و0.5 بينما ينبغي أن تكون الثانية0.0 لهذا المعيار وحده. تتراكم got_w وtotal_w عبر الحالات السابقة. تختبر هذه الحالات الحساب واختيار الملفات لا النموذج.
الحكم المؤجل والفحص الحرفي
مع معيار موضوعي وآخر يدوي غير محكوم، أعلن التجميع فائزا رغم pending_manual=1 لكلا البديلين. يظهر العداد لكنه لا يفرض وعد README بتأجيل القرار. وتحولت خاصية no invented numbers إلى فحص غياب عبارة invented numbers حرفيا؛ لا تكشف قيمة مختلقة. يناسب contains وregex قيود التنسيق، أما الصحة الواقعية وأثر اختلاف الصياغة فيحتاجان حكما مستقلا.
ما أوصي بإصلاحه
يجب قراءة رقم التكرار المحدد ورفض الملف المفقود وإعادة ضبط المجاميع لكل حالة وتكرار. امنع القرار النهائي حتى اكتمال الأحكام اليدوية اللازمة أو سمه مؤقتا. اجعل الخصائص الدلالية يدوية وافحص السجل مقابل مصفوفة التشغيل. تشمل اختبارات الرجوع مخرجات تكرارات مختلفة وغياب الملف الثاني وتبديل ترتيب النجاح والفشل والأحكام المؤجلة. هذه توصيات وليست إصلاحات نفذتها بالمستودع. إلى ذلك الحين أستخدم الخطوات كقائمة عمل وأقرأ المخرجات الخام بدلا من اختيار التعليمات بإجمالي الدرجات.