עדכון חם: אירופה מכניסה את ״ריסון קצב החזית״ לסדר היום

עדכון מדיניות אירופי · עובדות מדווחות

ב-16 בספטמבר נשאה אורסולה פון דר ליין, נשיאת הנציבות האירופית, דברים בפרלמנט האירופי ואמרה שמודלים מסוגלים יותר מחמירים סיכוני פריצה ושימוש עוין. היא הפנתה למנהיגי חברות AI מתקדמות שרוצים להאט מודלים רקורסיביים-עצמית ולקבוע קצב בחזית, ואמרה שעל האיחוד לבנות מעקות בטיחות יחד עם שותפות כמו בריטניה וקנדה.

מעבדת חזית הניחה כעת על השולחן משהו מוחשי. במאמר חדש טוען דריו אמודיי, מנכ״ל Anthropic, שיש לקבוע קצב להתקדמות היכולות, כדי שליישור, להערכה, לפרשנות וליציבות התפעולית יהיה זמן להשיג.

מה פירוש האטת הקצב

קביעת קצב כאן אינה עצירת אימון. אמודיי מתאר נקודות ביקורת הקשורות ליכולת: כשמערכת מגיעה ליכולת X, שחרורה או המשך פיתוחה ידרשו ראיות לתכונות יישור Y ו-Z. הוא נוגע גם בבקרות על חישוב, ריצות אימון ושימוש ב-AI לשיפור AI, ומזהיר שכללים המבוססים על תשומות קל לעקוף.

למה עכשיו

הטיעון שלו הוא שהשיפור העצמי הרקורסיבי מתחיל להאיץ, והוא מצביע על תקריות יישור סוכנים אחרונות כסימן שההערכה וההיגיינה התפעולית מפגרות. השיפוטים הסיבתיים והתחזיות האלה שלו, ואינם קונצנזוס מדעי מוסכם. מה שאפשר לבדוק היום הוא ההצעה עצמה והתחייבות Anthropic המוצהרת למעריכים.

שער שחרור מעשי

הסקיצה שלהלן היא התרגום שלי של רעיון נקודת הביקורת לשער תוכנה שאפשר לבדוק. המספרים בה להמחשה: הם לא ספי המלצה ולא תוצאות נמדדות.

דוגמה מעשית

נניח שסוכן קוד לומד לצאת ברוב ארגזי החול הרגילים. תחת נקודת ביקורת של יכולת, מעבדה לא תוכל להסתפק בהנחיית מערכת מחמירה יותר. היא תצטרך להציג הערכות יריבות, בדיקה של סביבות האימון, בקרות תפעוליות, סקירה חיצונית וראיה שהכשלים נשארים מרוסנים. השאלה הקשה היא מי יכול לאמת כל בדיקה, והאם בדיקה שנכשלה באמת עוצרת שחרור.

def release_gate(capability, alignment, operations, external_review):
    checks = {
        "capability_under_threshold": capability < 0.80,
        "alignment_evidence": alignment >= 0.90,
        "operational_readiness": operations >= 0.95,
        "independent_review": external_review is True,
    }
    return {"release": all(checks.values()), "checks": checks}

הניתוח של ג׳ק

מה שנראה לי החזק ביותר אינו המילה להאט אלא המעבר מהבטחות לגישה. מעריך שיכול לבדוק סביבות עבודה, כלים, הרשאות, תהליכי אימון ותקריות יכול לבחון אם טענת בטיחות מתיישבת עם המעשה. והשאלות הפתוחות חשובות לא פחות: מי בוחר ומממן את המעריכים, מה מותר להם לפרסם, איך מושחר מידע רגיש, איך מחלוקת עוצרת שחרור, ואיך התיאום לא הופך לחפיר שמגן על הוותיקים.

מה לא ידוע

הכותב הוא מנהיג מעבדת חזית עם אינטרס, וזו הצעה. זה לא חוק, לא הסכם בין-לאומי ולא הוכחה שקביעת קצב עובדת. התחייבות Anthropic עדיין צריכה פרטי יישום ותצפית עצמאית. אימות עולמי, יריבות בין מדינות וספי יכולת אכיפים נותרו בלתי פתורים.

שאלות לעדכון הבא

• מי יהיה המעריך המשובץ, ובאיזה חוזה?
• איזו גישה ניתנת ואיזו מוחזקת?
• אילו ספי יכולת מחייבים עצירה?
• האם מעריכים רשאים לפרסם מסקנה שהחברה לא אוהבת?
• מה קורה כשהחברה והמעריך חלוקים?

המקור הראשוני המלא