Anthropic впускає зовнішнього оцінювача в лабораторію. Усе вирішать правила доступу.

ЩОДЕННА НОТАТКА ПРО БЕЗПЕКУ · ДВА ПЕРВИННІ ДЖЕРЕЛА

Місце оцінювача всередині лабораторії ще не дає йому відповіді. Команда Accenture під керівництвом Faculty має працювати поруч з Anthropic над оцінками, змагальними перевірками, вирівнюванням і захистом. Anthropic описує доступ під час навчання та рішень про випуск, розмови з працівниками, звітування про інциденти й інформування публіки. Це обіцяний порядок роботи, не готовий аудит.

Доступ рівня працівника - технічний інтерфейс

Зовнішній тест при випуску бачить готовий артефакт. Вбудований оцінювач має бачити виготовлення: контрольні точки, набори оцінок, невдалі запуски, винятки, бар'єри випуску, інциденти й рішення. Мене більше цікавить збереження незручних доказів і їхній вплив на дії організації, ніж статус працівника.

Контракт доступу має виконуватися

Оригінальна схема нижче перетворює обіцянку на перевірки. Кожне публічне твердження посилається на доступний артефакт. Купюри видимі. Відмова в доступі стає результатом. Це мій приклад, не оголошена умова.

def evidence_ledger(claims, access_log):
    return [{
        "claim": claim.text,
        "artifact": claim.source_id,
        "access": access_log.status(claim.source_id),
        "redacted": access_log.is_redacted(claim.source_id),
        "verified": access_log.status(claim.source_id) == "granted",
    } for claim in claims]

Цей приклад для теми «Anthropic / Accenture» пояснює межу; він не є виміряним доказом, реалізацією з джерела чи готовим робочим ПЗ.

Перевіряйте оцінювача, не лише модель

У запропонованому тесті внесіть відому помилку захисту в гілку навчання, виняток у журнал випуску й суперечливий результат у бенчмарк. Чи знайде оцінювач усі три, збереже походження, передасть вище без редакції керівництва й оприлюднить істотний висновок? Відкличте дозвіл і повторіть. На такому збої доступ стає перевірюваним, не церемоніальним.

Чотири частини незалежності

Доступ лише початок незалежності. Потрібні свобода вибору тестів, публікації поганих результатів, захисту джерел і стійкість до комерційного спору. Есе керівника пропонує право публікації з вузькими вилученнями й позначенням їхнього впливу на висновок. Оголошення поки не розкриває остаточного договору, матриці доступу, правил конфліктів і протоколу публікації.

Факти, аналіз, невідоме

Факт: компанії оголосили партнерство, роль Faculty, види тестів і однакові інвестиційні очікування. Факт: Anthropic визнає брак стандартів і платить напряму. Аналіз: це конфлікт інтересів; права публікації, кілька оцінювачів і зовнішнє управління зменшують, але не стирають його. Невідомі старт, команда, звіт, бюджет, охоплення й наслідки спору.

Що потрібно в першому звіті

Потрібні системи й стадії в охопленні; запитані, видані, затримані та відхилені артефакти; автори тестів; інциденти; виправлення; купюри та спірні висновки. Без цього журналу оцінювання не відрізнити від консалтингу.

Anthropic partnership announcement · Accenture partnership announcement · CEO framework essay