أحصت Anthropic كم يبني AI نفسه. الصعوبة كلها في المقام.

DAILY RESEARCH NOTE · PRIMARY METHODOLOGY

رقم 26% يبدو كحكم نهائي، لكنه قياس لسلة محددة من المهام. تقول لقطة Anthropic لشهر أغسطس إن Claude «يقود» 26% من مهام AI R&D المقاسة. وبلغت أكثر من 90% منها مستوى «يتعاون» على الأقل. ولم تبلغ أي منها الاستقلال الكامل. هذه مجموعة عمل محددة، لا نسبة الشركة التي يستطيع AI استبدالها.

من أين جاءت نسبة 26%

اختير 20% من الموظفين المعنيين لكل أسبوع في يوليو. استخرج Claude نحو 15 ألف مهمة في 542 عقدة و378 ورقة. قيّم نموذج آخر AL0–AL5 وحدد وقت البشر الأوزان. التثبيت يفيد الاتجاه لكنه قد يفوت أعمالاً جديدة.

المقيِّمون يختلفون، ولا بأس ما دام ذلك معلنًا

أعطِ نموذجًا وشخصًا المهمة نفسها فيختاران المستوى نفسه في 59% من الحالات. ويتفق شخصان في 35% منها. وضمن مستوى واحد يتفق النموذج والإنسان في 97%. فمقياس AL قابل للاستخدام، وهو ذاتي، خصوصًا عند الحد الفاصل بين AL3 «يتعاون» وAL4 «يقود».

مراقبة كل شيء لا تعني اكتشاف كل شيء

كان نحو 30 ألف وكيل نشطاً معاً. تقول Anthropic إن 100% من الأفعال مر بالمراقبة. من أكثر من مليار قرار حُجب 0.002%. يُعلّم نحو 100 ألف سجل أسبوعياً ويصل 50 إلى البشر. مرور الفعل لا يثبت كشف الخطر.

لوحة تتجاهل النسب اليتيمة

يربط الكود الأصلي كل معدل بالنطاق والفترة ويرفض نسبة بلا بسط ومقام. إنه مثال توضيحي وليس كود Anthropic.

def rate(n, d, scope, period):
    if d <= 0 or n > d: raise ValueError("bad denominator")
    return {"rate": n/d, "n": n, "d": d,
            "scope": scope, "period": period}

نمط توضيحي أصلي، وليس برمجيات من Anthropic.

تمرين يمكنك تنفيذه هذا الأسبوع

ازرع 100 مخالفة معروفة عبر الوكلاء والصلاحيات والآفاق الزمنية. ثم قِس هل وصلت كل واحدة، وهل اكتُشفت وحُجبت وصُعِّدت وحُلّت بشكل صحيح، وكم استغرق ذلك. غيّر النموذج أو المراقب وأعد التجربة. وانشر النتائج السلبية الكاذبة أيضًا.

ستة بالمئة من ماذا بالضبط؟

بين 13 و20 يوليو صُنّف 6% من حوسبة البحث كسلامة، و12% من البحث المدفوع بالذكاء الاصطناعي. شملت العينة 14% من قرابة 10 آلاف تشغيل مع وزن للأكبر. هذا أسبوع واحد بتعريف الشركة.

ما هو معروف، وما أراه، وما بقي مفتوحًا

حقيقة: نشرت Anthropic المنهج والنتائج والقيود. تحليل: المقامات المفتوحة مفيدة، لكن المقارنة تحتاج تعريفات مشتركة وتحققاً خارجياً. مجهول: الاتجاه والتكرار المستقل ومعدل الإخفاق.

ما أتمنى نشره لاحقًا

أصدِر نسخًا لشجرة المهام. اذكر البسط والمقام والفترة والنطاق لكل نسبة. أبلغ عن البيانات الناقصة وعن اختبارات الكشف بمخالفات مزروعة. وانشر مواضع خلاف المراجعين الخارجيين. يصبح الرقم قابلًا للحوكمة حين يستطيع الغرباء إعادة إنتاج حدوده.

Primary methodology, results, and limitations