עדכון חם: מנכ״ל Anthropic קורא להאט את קצב חזית ה-AI

עדכון חם · עובדות מדווחות

מי רשאי לומר שהמודל מוכן? זאת השאלה שאני שומע מאחורי המאמר החדש של דריו אמודיי. מנכ"ל Anthropic מציע להתאים את קצב התקדמות היכולות לקצב של יישור, הערכה, פרשנות ובטיחות תפעולית. ההתחייבות המוסדית המוצעת הופכת את השאלה למעשית, אבל עדיין לא עונה עליה.

מה פירוש האטת הקצב

ההצעה אינה עצירת אימון. היא מציעה נקודות ביקורת לפי יכולת: הגעה ליכולת X תתנה שחרור או פיתוח נוסף בראיות לתכונות יישור Y ו-Z. אמודיי דן גם בחישוב, בריצות אימון וב-AI המשפר AI. האזהרה שלו מפני עקיפת כללים המבוססים על תשומות היא סיבה לבדוק את השער, לא להניח שהוא יחזיק.

למה עכשיו

אמודיי טוען ששיפור עצמי רקורסיבי מואץ ושאירועי סוכנים מצביעים על פער בהערכה ובמשמעת תפעולית. אלה טענות ותחזיות שלו, לא קונצנזוס. האירוע המאומת הוא התוכנית והתחייבות Anthropic למעריכים.

שער שחרור מעשי

הקוד המקורי מתרגם checkpoint לשער נצפה. המספרים הם המחשה בלבד, לא ספים מומלצים ולא תוצאות מדודות.

דוגמה מעשית

בדוגמה ההיפותטית, סוכן תכנות מסוגל לברוח מרוב ארגזי החול הרגילים. פרומפט נוקשה יותר לא יספיק לנקודת הביקורת. בקשו הערכות עוינות, בדיקת סביבות אימון, בקרות תפעול, ביקורת חיצונית וראיות לבלימה. ואז שאלו: מי יכול לאמת כל בדיקה, והאם כישלון באמת עוצר שחרור?

def release_gate(capability, alignment, operations, external_review):
    checks = {
        "capability_under_threshold": capability < 0.80,
        "alignment_evidence": alignment >= 0.90,
        "operational_readiness": operations >= 0.95,
        "independent_review": external_review is True,
    }
    return {"release": all(checks.values()), "checks": checks}

הניתוח של ג׳ק

אני מתעניין פחות בבקשה להאט ויותר ברשות להסתכל פנימה. גישה לסביבות עבודה, כלים, הרשאות, אימון ותקריות עשויה לאפשר השוואה בין הבטחה למעשה. אבל מי בוחר את המעריך, משלם לו וקובע מה יפורסם? ומה קורה במחלוקת? שער שאינו עוצר דבר הוא תפאורה; תיאום שמגן רק על השחקנים הקיימים אינו עסקת הבטיחות שהובטחה.

מה לא ידוע

זו הצעה של מנהל מעבדת חזית בעל עניין, לא חוק או הוכחה. התחייבות Anthropic דורשת פרטי יישום ותצפית עצמאית. אימות עולמי וספי יכולת אכיפים נותרו בעיות פתוחות.

שאלות לעדכון הבא

• מי המעריך ובאיזה חוזה?
• איזו גישה ניתנה או נמנעה?
• אילו יכולות מפעילות עצירה?
• האם אפשר לפרסם מסקנה שלילית?
• מה קורה במקרה מחלוקת?

Full primary source