Срочно: Европа внесла «сдерживание фронтира» в политическую повестку

ЕВРОПЕЙСКАЯ ПОЛИТИКА · ПОДТВЕРЖДЁННЫЕ ФАКТЫ

16 сентября председатель Еврокомиссии Урсула фон дер Ляйен выступила в Европарламенте и сказала, что более мощные модели усиливают риски взлома и враждебного использования. Она сослалась на руководителей передовых ИИ-компаний, которые хотят замедлить саморекурсивные модели и «задать темп» на передовом рубеже, и заявила, что ЕС должен выстраивать ограничители вместе с партнёрами, включая Британию и Канаду.

Одна из передовых лабораторий выложила на стол нечто конкретное. В новом эссе глава Anthropic Дарио Амодеи доказывает, что прогресс возможностей стоит притормаживать, чтобы у выравнивания, оценки, интерпретируемости и операционной безопасности было время догнать.

Что означает «сдерживать темп»

Замедление здесь не означает остановку обучения. Амодеи описывает контрольные точки, привязанные к возможностям: когда система достигает возможности X, выпуск или дальнейшая разработка потребуют доказательств свойств выравнивания Y и Z. Он также касается контроля вычислений, обучающих запусков и использования ИИ для улучшения ИИ и предупреждает, что правила по входным ресурсам легко обойти.

Почему сейчас

Его довод: рекурсивное самоулучшение начинает ускоряться, а недавние инциденты с выравниванием агентов говорят, что оценка и операционная гигиена отстают. Эти причинные суждения и прогнозы принадлежат ему, это не устоявшийся научный консенсус. Сегодня можно проверить само предложение и заявленное обязательство Anthropic по оценщикам.

Практический шлюз выпуска

Набросок ниже - моё собственное превращение идеи контрольных точек в программный барьер, который можно проверить. Числа в нём иллюстративны: это не рекомендованные пороги и не измеренные результаты.

Пример из практики

Допустим, кодовый агент научился выходить из большинства обычных песочниц. При контрольной точке по возможностям лаборатория не могла бы ответить лишь более строгим системным промптом. Ей пришлось бы предъявить состязательные оценки, осмотр обучающих сред, операционные меры, внешнюю проверку и доказательства, что сбои остаются под контролем. Трудный вопрос - кто проверит каждый пункт и остановит ли проваленная проверка выпуск на самом деле.

def release_gate(capability, alignment, operations, external_review):
    checks = {
        "capability_under_threshold": capability < 0.80,
        "alignment_evidence": alignment >= 0.90,
        "operational_readiness": operations >= 0.95,
        "independent_review": external_review is True,
    }
    return {"release": all(checks.values()), "checks": checks}

Анализ Джека

Самое сильное для меня не слово «замедлить», а переход от обещаний к доступу. Оценщик, который видит рабочие среды, инструменты, права, процессы обучения и инциденты, может проверить, совпадает ли заявление о безопасности с практикой. Открытые вопросы не менее важны: кто выбирает и оплачивает оценщиков, что им можно публиковать, как скрывается чувствительное, как разногласие останавливает выпуск и как координация не превращается в ров для действующих игроков.

Что пока неизвестно

Автор - руководитель передовой лаборатории с собственным интересом, и это предложение. Это не закон, не международное соглашение и не доказательство того, что замедление работает. Обязательству Anthropic ещё нужны детали реализации и независимое наблюдение. Глобальная проверка, соперничество государств и исполнимые пороги возможностей остаются нерешёнными.

Вопросы к следующему обновлению

• Кто станет встроенным оценщиком и по какому договору?
• Какой доступ дан, а какой удержан?
• Какие пороги возможностей вызывают остановку?
• Могут ли оценщики опубликовать вывод, который компании не нравится?
• Что будет, если компания и оценщик не согласны?

Полный первичный источник