Anthropic ספרה כמה AI בונה AI. החלק הקשה הוא המכנה.

DAILY RESEARCH NOTE · PRIMARY METHODOLOGY

26% נשמע כמו פסק דין, אבל זו מדידה של סל משימות מסוים. התמונה של Anthropic מאוגוסט אומרת ש-Claude «מוביל» ב-26% ממשימות AI R&D שנמדדו. מעל 90% הגיעו לפחות לרמת «משתף פעולה». אף אחת לא הגיעה לאוטונומיה מלאה. זו קבוצת עבודה מוגדרת, לא החלק בחברה ש-AI יכול להחליף.

מאיפה מגיעים ה-26%

נדגמו 20% מהעובדים בכל שבוע ביולי. Claude חילץ כ-15 אלף משימות וסידר 542 צמתים ו-378 עלים. מודל אחר דירג AL0–AL5 וזמן אדם קבע משקל. סל קבוע תומך במגמה אך עלול להחמיץ עבודה חדשה.

המדרגים חלוקים, וזה בסדר כל עוד אומרים זאת

תנו למודל ולאדם את אותה משימה והם יבחרו באותה רמה ב-59% מהמקרים. שני אנשים מסכימים ב-35%. בטווח של רמה אחת, מודל ואדם מסכימים ב-97%. לכן סולם AL שמיש, והוא סובייקטיבי, בעיקר בגבול בין AL3 «משתף פעולה» ל-AL4 «מוביל».

לראות הכול זה לא לתפוס הכול

כ-30 אלף סוכנים פעלו יחד בפלטפורמה הראשית. Anthropic אומרת ש-100% מהפעולות עברו ניטור. מתוך יותר ממיליארד החלטות נחסמו 0.002%. כ-100 אלף תמלילים מסומנים בשבוע ו-50 מגיעים לאדם. ניתוב אינו גילוי מלא.

דשבורד שמסרב לאחוזים יתומים

הקוד המקורי מצמיד לכל שיעור היקף ותקופה ודוחה אחוז ללא מונה ומכנה. זהו דפוס הסברתי, לא קוד Anthropic.

def rate(n, d, scope, period):
    if d <= 0 or n > d: raise ValueError("bad denominator")
    return {"rate": n/d, "n": n, "d": d,
            "scope": scope, "period": period}

דפוס הסברי מקורי, לא תוכנה של Anthropic.

תרגיל שאפשר להריץ השבוע

זרעו 100 הפרות ידועות על פני סוכנים, הרשאות ואופקי זמן. אחר כך מדדו אם כל אחת הגיעה, זוהתה, נחסמה, הועלתה ונפתרה נכון, וכמה זמן זה לקח. החליפו מודל או מוניטור והריצו שוב. פרסמו גם את השליליים הכוזבים.

שישה אחוזים ממה בדיוק?

בין 13 ל-20 ביולי סווגו 6% ממחשוב מו״פ AI כבטיחות ו-12% ממחשוב מו״פ מונע-AI. נדגמו 14% מכמעט 10,000 ריצות במשקל מחשוב. זה שבוע אחד בהגדרת החברה.

מה ידוע, מה אני חושב, מה פתוח

עובדה: Anthropic פרסמה שיטה, תוצאות ומגבלות. ניתוח: מכנים פתוחים מועילים, אך השוואה דורשת הגדרות משותפות ואימות חיצוני. לא ידועים המגמה, השכפול ושיעור ההחמצה.

מה הייתי רוצה לראות מתפרסם הלאה

נהלו גרסאות לעץ המשימות. ציינו מונה, מכנה, חלון זמן והיקף לכל שיעור. דווחו על נתונים חסרים ועל בדיקות זיהוי עם הפרות שנזרעו. פרסמו איפה סוקרים חיצוניים חולקים. מספר נעשה ניתן לממשל כשזרים יכולים לשחזר את גבולותיו.

Primary methodology, results, and limitations