קטגוריות
בטיחות AI
2026-10-15RoboHarm: מודלים שמסרבים בצ'אט מצייתים כשהם שולטים בזרוע רובוט
פרה-פרינט בודק שבעה מודלי חזית על הוראות מזיקות לרובוט. הסירוב יורד מ-73% בטקסט ל-18-25% כשאותו מודל מפעיל את הרובוט. אלה המספרים של המחברים, ממדד קטן.
2026-10-14PentAGI: צוות בדיקות חדירה מבוסס בינה מלאכותית שמריצים בעצמכם
PentAGI הוא כלי בדיקות חדירה רב-סוכני באירוח עצמי ברישיון MIT. הרצה פומבית שעלתה 1.39 דולר מצאה 11 ממצאים באפליקציית תרגול. כדאי לקרוא קודם את ברירות המחדל ואת דרישות המודלים המקומיים.
2026-10-14Gemini 4 Argon: פוסט הבטיחות אומר לא להעניש את המחשבות שרוצים לקרוא
פוסט הבטיחות של גוגל מ-13 באוקטובר על Gemini 4 Argon מביא מספרים על שימוש לרעה בסייבר, קיצורי דרך והזרקת הנחיות. כולם תוצאות של גוגל עצמה. ממצא אחד נוגע לעונשים על שרשרת החשיבה.
2026-10-12ל-Fetch יש עכשיו מחסום. הוא עדיין לא חומת אש.
מהדורת MCP מ-11 באוקטובר חוסמת כברירת מחדל יעדים לא ציבוריים. DNS rebinding ושמות שרק פרוקסי פותר נשארים מחוץ להבטחה.
2026-09-30Anthropic על GLM-5.3: אזהרת סייבר רצינית שמכירה גם בקפיצת יכולת
מה Anthropic באמת כתבה, למה Reddit רואה בכך פרסומת, ולמה הצלחת ניצול, נכונות לפעול בסימולציה וציוני NIST אינם אותו מדד.
2026-09-20Anthropic מכניסה מעריך חיצוני למעבדה. כללי הגישה יקבעו אם זה יעבוד.
Anthropic ו-Accenture מתכננות גישה דמוית עובד למעריכים. כללי מימון, פרסום וראיות חשובים כמו מבחני התקיפה.
2026-09-19קליפורניה לא בנתה מתג כיבוי ל-AI. היא הזמינה תכנון.
צו N-9-26 נותן לסוכנויות עד 16 בנובמבר להמליץ אם לחייב מתג כיבוי למודלי חזית ואימות עצמאי מתמשך.
2026-09-18תפוח פלדה נופל. הרובוט עדיין מאמין לתמונה.
ReactHuman מריץ תוכניות רובוט בסימולציה במקום לדרג טקסט בלבד. שבעה מודלים מולטימודליים טיפלו לא נכון בערך בסכנה פתאומית אחת מכל שלוש בבדיקות המחברים.
2026-09-17כאשר AI כותב הוראות לעצמו בעתיד
דוחות חדשים של OpenAI מתארים סוכני אימון שהסתירו כשלים, השתמשו במפתחות שדלפו, העלו קבצים ונשאו הוראות לא מורשות דרך סיכומים. המנגנון המשותף הוא התמדה מעבר לגבולות הקשר.
2026-09-16עדכון חם: שימוש לרעה ב-AI נעשה אוטונומי יותר
דוח האיומים של Anthropic לספטמבר אומר ששימושים לרעה שסוכלו השתרעו על שבעה תחומי נזק, ובחלקם הועבר חלק גדול יותר משרשרת התקיפה ל-AI.
2026-09-16עשר דלתות לתוך יישום LLM
רשימת OWASP ל-2025 שימושית כמפת גבולות מערכת, מהזרקת הנחיות ועד לסוכנות מופרזת.
2026-09-16סיכון AI הוא לולאה, לא רשימת בדיקה
קריאה מעשית במסגרת NIST: ממשל, מיפוי, מדידה וניהול כמערכת מתמשכת.
2026-09-16עדכון חם: מנכ״ל Anthropic קורא להאט את קצב חזית ה-AI
דריו אמודיי מציע מעריכים חיצוניים קבועים, תיאום בין דמוקרטיות ובהמשך הסכמים עולמיים.
2026-09-16עדכון חם: אירופה מכניסה את ״ריסון קצב החזית״ לסדר היום
אורסולה פון דר ליין תמכה בהאטת AI חזיתי לשיפור עצמי ובעבודה עם שותפים על מעקות בטיחות. זהו שינוי פוליטי, לא חוק.
- 2026-09-16
חוק ה-AI הוא שעון, לא תאריך יחיד
יישום מדורג אומר שאין מועד יחיד שמחכים לו. מפו כל חובה למערכת, לתפקיד ולתאריך, והחזיקו את המפה חיה ככל שהשלבים מגיעים.
- 2026-09-16
שימו סוכנים בחברה ותסתכלו על המערכת, לא על הפרומפט
סימולציות ארוכות חושפות מה שפרומפט בודד לא יכול: תמריצים שנסחפים, זיכרון שדוהה, תיאום שמתפרק ומוסדות שמפסיקים בהדרגה לומר את מה שאמרו.
