Терміново: Європа вносить «стримування фронтиру» до політичного порядку денного

ЄВРОПЕЙСЬКА ПОЛІТИКА · ПІДТВЕРДЖЕНІ ФАКТИ

16 вересня голова Європейської комісії Урсула фон дер Ляєн виступила в Європарламенті й сказала, що потужніші моделі посилюють ризики злому та ворожого використання. Вона послалася на керівників передових ШІ-компаній, які хочуть сповільнити саморекурсивні моделі й «задати темп» на передовому рубежі, і заявила, що ЄС має будувати запобіжники разом з партнерами, зокрема з Британією та Канадою.

Одна з передових лабораторій поклала на стіл щось конкретне. У новому есеї голова Anthropic Даріо Амодеї доводить, що прогрес можливостей варто пригальмовувати, щоб у вирівнювання, оцінювання, інтерпретованості й операційної безпеки був час наздогнати.

Що означає стримувати темп

Сповільнення тут не означає зупинку навчання. Амодеї описує контрольні точки, прив’язані до можливостей: коли система досягає можливості X, випуск або подальша розробка потребуватимуть доказів властивостей вирівнювання Y і Z. Він також торкається контролю обчислень, навчальних запусків і використання ШІ для вдосконалення ШІ та попереджає, що правила щодо вхідних ресурсів легко обійти.

Чому зараз

Його аргумент: рекурсивне самовдосконалення починає прискорюватися, а нещодавні інциденти з вирівнюванням агентів свідчать, що оцінювання й операційна гігієна відстають. Ці причинні судження й прогнози належать йому, це не усталений науковий консенсус. Сьогодні можна перевірити саму пропозицію та заявлене зобов’язання Anthropic щодо оцінювачів.

Практичний шлюз випуску

Начерк нижче - моє власне перетворення ідеї контрольних точок на програмний бар’єр, який можна перевірити. Числа в ньому ілюстративні: це не рекомендовані пороги й не виміряні результати.

Приклад із практики

Припустімо, кодовий агент навчився виходити з більшості звичайних пісочниць. За контрольної точки щодо можливостей лабораторія не могла б відповісти лише суворішим системним промптом. Їй довелося б пред’явити змагальні оцінювання, огляд навчальних середовищ, операційні заходи, зовнішню перевірку та докази, що збої лишаються під контролем. Складне питання - хто перевірить кожен пункт і чи справді провалена перевірка зупинить випуск.

def release_gate(capability, alignment, operations, external_review):
    checks = {
        "capability_under_threshold": capability < 0.80,
        "alignment_evidence": alignment >= 0.90,
        "operational_readiness": operations >= 0.95,
        "independent_review": external_review is True,
    }
    return {"release": all(checks.values()), "checks": checks}

Аналіз Джека

Найсильніше для мене - не слово «сповільнити», а перехід від обіцянок до доступу. Оцінювач, який бачить робочі середовища, інструменти, дозволи, процеси навчання та інциденти, може перевірити, чи збігається заява про безпеку з практикою. Відкриті питання не менш важливі: хто обирає й оплачує оцінювачів, що їм можна публікувати, як приховується чутливе, як розбіжність зупиняє випуск і як координація не стає ровом для чинних гравців.

Що невідомо

Автор - керівник передової лабораторії з власним інтересом, і це пропозиція. Це не закон, не міжнародна угода й не доказ того, що сповільнення працює. Зобов’язанню Anthropic ще потрібні деталі реалізації та незалежне спостереження. Глобальна перевірка, суперництво держав і виконувані пороги можливостей лишаються невирішеними.

Питання до наступного оновлення

• Хто стане вбудованим оцінювачем і за яким договором?
• Який доступ надано, а який утримано?
• Які пороги можливостей викликають зупинку?
• Чи можуть оцінювачі опублікувати висновок, який компанії не подобається?
• Що буде, якщо компанія й оцінювач не згодні?

Повне первинне джерело