סיכון AI הוא לולאה, לא רשימת בדיקה

דרך מעשית לראות את הרעיון

נניח שמטרתה של מערכת נשארה זהה אבל הקלט שלה השתנה. ההערכה של אתמול אולי כבר אינה מתאימה. התהליך המוצע כאן חוזר להקשר, מודד שוב ורושם החלטת ניהול, במקום לרשת את פסק הדין הישן מתוך הרגל.

צלילה טכנית: עקבו אחרי המערכת, לא אחרי הסיסמה

עקבו דרך ארבעה גבולות: הקשר המערכת, הפיכתו למדידות, הראיות שנשמרו בהחלטה והבדיקה הבאה. הדוגמה שלמטה מחזירה אחראים לצד map, measure, manage ותאריך בדיקה. היא מציגה את הלולאה; היא אינה מממשת את הפונקציות שהיא קוראת להן.

מעבדת קוד: מעטפת נצפית

דוגמת Python בנושא NIST AI RMF קטנה בכוונה. היא חושפת גבול החלטה ולא משחזרת את מערכת המקור. הפלט נועד לבדיקה, לא להצגת ביצועים שנמדדו.

def risk_cycle(system):
    context = map_context(system)
    measurements = measure(system, context)
    decisions = manage(measurements)
    return {
        "govern": system["owners"],
        "map": context,
        "measure": measurements,
        "manage": decisions,
        "next_review": decisions["review_date"]
    }

מבחן בעולם האמיתי

נסו בקשה רגילה, פגומה או עוינת ומקרה שאין בו די ראיות. תעדו השהיה, איכות ראיות, סירוב ועלות התאוששות. ואז בדקו אם הממצאים משנים החלטת ניהול ומפעילים בדיקה נוספת. אחרת המדידות הן קישוט.

הניתוח של ג׳ק

לדעתי, עבודת סיכון מועילה כאשר יש לממצא לאן להגיע. זאת פרשנות הנדסית של המסגרת, לא תוצאה שנמדדה. הלולאה צריכה לשמר אי-ודאות ואחריות, לא רק לאשר שמישהו מילא טופס.

מה הדוגמה אינה מוכיחה

הקוד בנושא NIST AI RMF מסביר החלטת תכנון. הוא אינו מבחן ביצועים או הנחיית אבטחה לייצור. שימוש בדפוס דורש בדיקת התחום, איומים, פרטיות, ניטור ונתוני מבחן מייצגים.

שאלות שכדאי לשאול בבדיקה

• איזו טענה נתמכת בדיוק במקור?
• היכן עלול להיכנס הקשר מיושן או עוין?
• איזה שלב יקר או קשה לביטול?
• אילו ראיות נשמרות לביקורת?
• מי יכול לעצור את הפעולה וכמה מהר?