Терміново: керівник Anthropic закликав стримати темп передового ШІ

ТЕРМІНОВО · ПІДТВЕРДЖЕНІ ФАКТИ

Хто вирішує, що модель готова? Це питання я чую за новим есе Даріо Амодеї. Керівник Anthropic пропонує співміряти зростання можливостей із вирівнюванням, оцінюванням, інтерпретованістю та експлуатаційною безпекою. Інституційне зобов'язання робить питання предметним, але ще не відповідає на нього.

Що означає стримувати темп

Пропозиція не зупиняє навчання. Вона вводить контрольні точки: досягнення можливості X ставить випуск або подальшу розробку в залежність від доказів властивостей вирівнювання Y і Z. Амодеї також обговорює обчислення, навчання та застосування ШІ для вдосконалення ШІ. Попередження про обхід правил за вхідними ресурсами вимагає перевірити бар'єр, не визнати його надійним наперед.

Чому зараз

Амодеї вважає, що рекурсивне самовдосконалення прискорюється, а недавні інциденти з агентами показують відставання оцінки й операційної дисципліни. Це його аргументи й прогнози, не консенсус. Перевірений факт - план і обіцянка Anthropic.

Практичний шлюз випуску

Оригінальний код перетворює checkpoint на видимий шлюз. Числа умовні: це не рекомендовані пороги й не виміряний результат.

Приклад із практики

В умовному тесті агент-програміст уміє виходити з більшості звичайних пісочниць. Суворішого промпта для контрольної точки замало. Запросіть змагальні оцінки, перевірку середовищ навчання, експлуатаційні заходи, зовнішній розбір і докази стримування. Потім незручне: хто перевірить кожен пункт і чи справді провал зупинить випуск?

def release_gate(capability, alignment, operations, external_review):
    checks = {
        "capability_under_threshold": capability < 0.80,
        "alignment_evidence": alignment >= 0.90,
        "operational_readiness": operations >= 0.95,
        "independent_review": external_review is True,
    }
    return {"release": all(checks.values()), "checks": checks}

Аналіз Джека

Мені цікавіший доступ усередину, ніж заклик сповільнитися. Робочі середовища, інструменти, дозволи, навчання й інциденти дають змогу зіставити обіцянку з практикою. Але хто обирає оцінювача, платить йому й визначає право публікації? Що відбувається під час спору? Бар'єр, який нічого не затримує, декоративний; координація для захисту чинних лідерів не дорівнює обіцяній безпеці.

Що невідомо

Це пропозиція зацікавленого керівника лабораторії, не закон і не доказ дієвості. Зобов'язання Anthropic потребує деталей і незалежного нагляду. Глобальна перевірка та дієві пороги залишаються відкритими.

Питання до наступного оновлення

• Хто призначений оцінювачем?
• Який доступ надано або закрито?
• Які можливості запускають стоп?
• Чи можна опублікувати негативний висновок?
• Що буде в разі незгоди компанії?

Full primary source