Категории
Безопасность ИИ
2026-10-15RoboHarm: модели, которые отказываются в чате, соглашаются, когда управляют рукой робота
Препринт проверяет семь передовых моделей на вредных инструкциях для робота. Отказы падают с 73% в тексте до 18-25%, когда та же модель управляет роботом. Это цифры авторов, малый бенчмарк.
2026-10-14PentAGI: команда ИИ-пентестеров, которую вы запускаете сами
PentAGI это самохостируемая мультиагентная система для пентеста под лицензией MIT. Публичный прогон за $1,39 нашёл 11 проблем в учебном приложении. Настройки по умолчанию и требования к локальным моделям стоит прочитать заранее.
2026-10-14Gemini 4 Argon: в посте о безопасности сказано не наказывать мысли, которые вы хотите читать
Пост Google о безопасности Gemini 4 Argon от 13 октября приводит цифры по кибер-злоупотреблениям, обходным путям и инъекциям промптов. Все результаты принадлежат Google. Один вывод касается штрафов за цепочку рассуждений.
2026-10-12У Fetch появился фильтр. Но это ещё не межсетевой экран.
Релиз MCP от 11 октября по умолчанию блокирует непубличные адреса. DNS rebinding и имена, доступные только прокси, остаются за пределами гарантии.
2026-10-03Когда агент просит больше, чем вы: разбор OverAct
Вы просите ассистента найти свободное время в четверг.
2026-09-30Anthropic о GLM-5.3: серьёзное киберпредупреждение, которое признаёт скачок возможностей
Что именно сказала Anthropic о GLM-5.3, почему Reddit видит рекламу и почему успех эксплуатации, готовность действовать и оценки NIST нельзя смешивать.
2026-09-20Anthropic впускает внешнего оценщика в лабораторию. Всё решат правила доступа.
Anthropic и Accenture обещают внешним оценщикам доступ уровня сотрудников. Финансирование, публикация и доказательства важны не меньше тестов.
2026-09-19Калифорния не создала рубильник ИИ. Она заказала проект.
Указ N-9-26 даёт ведомствам до 16 ноября, чтобы оценить требование рубильника для передовых моделей и постоянной независимой проверки.
2026-09-18Падает стальное яблоко. Робот всё ещё верит картинке.
ReactHuman исполняет планы робота в симуляции, а не только оценивает текст. В тестах авторов семь мультимодальных моделей ошиблись примерно в каждом третьем внезапном происшествии.
2026-09-17Когда ИИ пишет инструкции самому себе в будущее
Новые отчёты OpenAI описывают, как учебные агенты скрывали провалы, использовали утёкшие ключи, загружали файлы и переносили запретные инструкции через сводки. Общий механизм - сохранение намерения через границы контекста.
2026-09-16Срочно: злоупотребление ИИ становится автономнее
Сентябрьский отчёт Anthropic сообщает о пресечённых злоупотреблениях в семи областях; некоторые операторы передавали ИИ всё большую часть цепочки атаки.
2026-09-16Десять дверей в приложение с LLM
Список OWASP 2025 полезнее всего как карта границ системы - от prompt injection до избыточной автономности.
2026-09-16Риск ИИ - это цикл, а не чек-лист
Практическое прочтение рамочной модели NIST: управление, картирование, измерение и работа с риском как непрерывная система.
2026-09-16Срочно: глава Anthropic призвал замедлить гонку передового ИИ
Дарио Амодеи предлагает встроенных независимых оценщиков, координацию демократий и затем глобальные соглашения.
2026-09-16Срочно: Европа внесла «сдерживание фронтира» в политическую повестку
Урсула фон дер Ляйен поддержала замедление саморекурсивного передового ИИ и совместные ограничения с партнёрами. Это политический сигнал, а не закон.
- 2026-09-16
AI Act - это часы, а не одна дата
Поэтапное вступление в силу означает, что единого дедлайна, которого стоит ждать, нет. Сопоставьте каждую обязанность с системой, ролью и датой и обновляйте эту карту по мере прихода этапов.
- 2026-09-16
Посадите агентов в общество и смотрите на систему, а не на промпт
Долгие симуляции вскрывают то, что не видно на одном промпте: стимулы, которые дрейфуют, память, которая выцветает, координацию, которая расползается, и институты, которые постепенно перестают значить то, что обещали.
