GDPx: اقرأ المقام قبل نسبة الاثني عشر
اختبار SemiAnalysis الجديد صعب. اختيار المجالات والتقييم وبيئة الوكيل يحدد ما يمكن استنتاجه من النتيجة.
اختبار SemiAnalysis الجديد صعب. اختيار المجالات والتقييم وبيئة الوكيل يحدد ما يمكن استنتاجه من النتيجة.
ما نشر اليوم
نشرت SemiAnalysis اختبار GDPx في 2 نوفمبر. يعرض الموقع الرسمي 206 مهام و14 شريكا و11 مجالا. يضع الجدول المجمع الظاهر Claude Opus 5.5 عند 12.0 وGemini 4 Carbon عند 10.9 وGPT-6 Astra عند 9.6. هذه نتائج منشورة لم أعد إنتاجها. قرأت الإعلان والجدول والتتبعات العامة، ولم أشغل مهام أو أفحص المجموعة الخاصة.
محفظة مختارة
تشمل المجالات تصميم الشرائح والأمن السيبراني والأحياء والمال والقانون والتداول الكمي والتحسين الذاتي المتكرر والعتاد وعلوم المواد وalignment والبرمجة. استبعد المؤلفون عمدا الحكومة والعقار والتأمين. هذه فرضيتهم عن الطلب المستقبلي. تحليلي أن النتيجة تصف المحفظة المختارة، ولا تقدر مباشرة نسبة الوظائف أو الساعات أو الاقتصاد التي يمكن استبدالها.
تصميم المتوسط
يعطي المنهج وزنا متساويا لكل مجال ولكل شريك داخل مجال متعدد الشركاء. يجمع درجات ثنائية وجزئية. يصف المؤلفون الناتج بأنه pass@1 عبر ثلاث محاولات، وليس أفضل نتيجة من ثلاث. الدرجات الجزئية ليست عددا لأعمال مكتملة. قبل تفسير فرق صغير كميزة ثابتة أطلب نتائج المهام وكود الجمع وتقديرات عدم اليقين.
النموذج مع أدوات عمله
الحد المعتاد ثماني ساعات، وبعض المهام أقصر. يستخدمون harness أصليا حيث يتوفر وإلا OpenCode. لذلك تقارن النتائج أنظمة عمل، لا نماذج أساسية تحت harness ثابت. قد يفيد ذلك المشتري دون أن يعزل سبب الفرق في النموذج وحده. يجب تسجيل العميل والأدوات والوقت والبيئة المطلوبة للفريق.
معنى الرفض
يعزو المؤلفون بعض الانخفاض إلى مصنفات السلامة ويعرضون مقارنة تستبعد cyber والأحياء وalignment. أبقي المقارنتين واضحتين لأن الاستبعاد يغير العمل المقاس. قد يعيق الرفض بحثا مصرحا به أو يحمي حدا ضروريا في سياق آخر. الجدول لا يمنح إذنا لطلب حقيقي. تفسير أثر المصنفات هو تفسير المؤلفين ولم أختبر سببيته.
حد التتبعات العامة
تقول صفحة rollouts إن كل شريك أتاح تتبعات مهمة واحدة، وبقيت البقية خاصة لمنع تحسين النتائج على الاختبار. يساعد المثال في شرح خطأ لكنه لا يثبت المجموع كله مستقلا. يصف المؤلفون QA آليا ومراجعة يدوية، ولا أعد ذلك شهادة مني لكل مقيم خاص. خطة نسخ كل ثلاثة إلى ستة أشهر تقتضي تسجيل الإصدار.
المقارنة التي أحتفظ بها
اختر عملا افتراضيا مصرحا به وسجل النموذج وharness والبيئة والحدود والإعادات والنتيجة والتكلفة. ساو الشروط أو فسر اختلافها. JSON أدناه سجل لم ينفذ، وليس ناتج GDPx. أستخدم الاختبار لاكتشاف أسئلة صعبة ثم أفحص العمل الضيق الذي أحتاجه. لا تصبح النسبة مقياس قدرة عالميًا بلا مقامها.
{"trial":"proposed_not_run","benchmark_edition":"PIN_ME","model":"PIN_ME","harness":"PIN_ME","domain_weights":"EXPLICIT","grading":"binary_or_partial","attempt_results":[],"cost":null}