Anthropic порахувала, скільки ШІ будує ШІ. Найважче - знаменник.

DAILY RESEARCH NOTE · PRIMARY METHODOLOGY

26 відсотків звучить як вирок, але це вимір конкретного кошика задач. Серпневий знімок Anthropic каже, що Claude «веде» 26% виміряних задач AI R&D. Понад 90% дійшли щонайменше до рівня «співпрацює». Жодна не стала повністю автономною. Це заданий набір роботи, а не частка компанії, яку ШІ здатен замінити.

Звідки взялися 26%

Щотижня в липні брали 20% працівників. Claude витяг близько 15 000 завдань у 542 вузлах і 378 листках. Інша модель дала AL0–AL5, час людей задав вагу. Фіксація підтримує тренд, але може пропустити нову роботу.

Оцінювачі розходяться, і це нормально, якщо про це сказано

Дайте моделі й людині одне й те саме завдання, і рівень збігнеться у 59% випадків. Дві людини збігаються у 35%. У межах одного рівня модель і людина згодні у 97% випадків. Шкалою AL можна користуватися, але вона суб’єктивна, особливо на межі AL3 «співпрацює» та AL4 «веде».

Бачити все не означає ловити все

На основній платформі одночасно діяло близько 30 000 агентів. Anthropic заявляє 100% проходження через монітори. Із понад мільярда рішень заблоковано 0,002%. Близько 100 000 записів позначають щотижня, 50 доходять до людей. Маршрутизація не доводить виявлення.

Дашборд, який не приймає відсотки-сироти

Оригінальний код прив’язує до кожної частки охоплення й період та відхиляє відсоток без чисельника і знаменника. Це приклад, не код Anthropic.

def rate(n, d, scope, period):
    if d <= 0 or n > d: raise ValueError("bad denominator")
    return {"rate": n/d, "n": n, "d": d,
            "scope": scope, "period": period}

Оригінальний ілюстративний патерн, а не програма Anthropic.

Навчання, які можна провести цього тижня

Заховайте 100 відомих порушень на різних агентах, правах доступу та горизонтах часу. Потім виміряйте, чи дійшло кожне, чи було виявлене, заблоковане, ескальоване та правильно розвʼязане, і скільки це тривало. Змініть модель або монітор і повторіть. Опублікуйте й хибні пропуски.

Шість відсотків від чого саме?

За 13–20 липня 6% обчислень AI R&D класифіковано як безпеку, серед AI-driven R&D - 12%. Перевірили 14% майже 10 000 запусків із вагою за обчисленнями. Це один тиждень за правилами компанії.

Що відомо, що я думаю, що відкрито

Факт: Anthropic оприлюднила метод, результати й обмеження. Аналіз: відкриті знаменники корисні, але порівняння потребує спільних визначень і зовнішньої перевірки. Невідомі тренд, повторення й частка пропусків.

Що я хотів би бачити опублікованим далі

Версіонуйте дерево завдань. Для кожної частки вказуйте чисельник, знаменник, період і охоплення. Повідомляйте про прогалини в даних і про тести із закладеними порушеннями. Публікуйте, де зовнішні рецензенти не згодні. Число стає керованим, коли сторонні можуть відтворити його межі.

Primary methodology, results, and limitations