Anthropic a compté la part d’IA qui construit l’IA. Le plus dur, c’est le dénominateur.

DAILY RESEARCH NOTE · PRIMARY METHODOLOGY

26 % ressemble à un verdict. C’est la mesure d’un panier précis. L’instantané d’août d’Anthropic indique que Claude « mène » 26 % des tâches de R&D en IA mesurées. Plus de 90 % ont atteint au moins le niveau « collabore ». Aucune n’est devenue entièrement autonome. C’est un ensemble de travail défini, pas la part d’une entreprise que l’IA pourrait remplacer.

D’où viennent ces 26 %

Chaque semaine de juillet, 20 % des employés concernés ont été échantillonnés. Claude a extrait environ 15 000 tâches dans 542 nœuds et 378 feuilles. Un autre modèle a noté AL0–AL5 ; le temps humain a donné les poids. Le panier fixe aide la tendance mais peut manquer de nouveaux travaux.

Les évaluateurs divergent, et ce n’est pas grave tant qu’on le dit

Donnez la même tâche à un modèle et à une personne : ils choisissent le même niveau dans 59 % des cas. Deux personnes s’accordent dans 35 % des cas. À un niveau près, modèle et humain concordent dans 97 % des cas. L’échelle AL est donc utilisable, et subjective, surtout à la frontière entre AL3 « collabore » et AL4 « mène ».

Tout surveiller n’est pas tout détecter

Environ 30 000 agents étaient actifs à la fois. Anthropic annonce 100 % des actions passant par les moniteurs. Sur plus d’un milliard de décisions, 0,002 % furent bloquées. Environ 100 000 transcriptions sont signalées par semaine et 50 atteignent un humain. Routage ne signifie pas détection.

Un tableau de bord qui refuse les pourcentages orphelins

Le code original attache périmètre et période à chaque taux et refuse un pourcentage sans numérateur ni dénominateur. C’est un motif explicatif, pas du code Anthropic.

def rate(n, d, scope, period):
    if d <= 0 or n > d: raise ValueError("bad denominator")
    return {"rate": n/d, "n": n, "d": d,
            "scope": scope, "period": period}

Schéma explicatif original, pas un logiciel d’Anthropic.

Un exercice à lancer cette semaine

Semez 100 violations connues parmi les agents, les permissions et les horizons temporels. Mesurez ensuite si chacune est arrivée, a été détectée, bloquée, escaladée et résolue correctement, et en combien de temps. Changez de modèle ou de moniteur et recommencez. Publiez aussi les faux négatifs.

Six pour cent de quoi, exactement ?

Du 13 au 20 juillet, 6 % du calcul de R&D IA fut classé sûreté et 12 % du calcul de R&D menée par IA. Environ 14 % de près de 10 000 exécutions furent échantillonnées, pondérées par calcul. C’est une semaine définie par l’entreprise.

Ce qu’on sait, ce que je pense, ce qui reste ouvert

Fait : Anthropic publie méthode, résultats et limites. Analyse : les dénominateurs ouverts sont utiles, mais comparer exige définitions communes et vérification externe. Inconnus : tendance, réplication et faux négatifs.

Ce que j’aimerais voir publié ensuite

Versionnez l’arbre des tâches. Donnez numérateur, dénominateur, période et périmètre pour chaque taux. Signalez les données manquantes et les tests de détection avec violations injectées. Publiez les désaccords de réviseurs externes. Un chiffre devient gouvernable quand des tiers peuvent reproduire ses frontières.

Primary methodology, results, and limitations