Sept labos d’IA, un dossier : les vrais tests pour 2027

Un essai équitable pour 2027

Voici un protocole réfutable, pas un résultat : dossiers autorisés avec versions contradictoires, scans dégradés et importeur en panne dans un bac à sable. Même corpus, mêmes outils, mêmes règles d’arrêt et budget total fixe pour tous. Répéter les essais et publier la dispersion, les passages cités, les actions interdites, les tests de réparation, latences p50/p95, coût et reprise après une panne d’outil. Faire relire les traductions par des locuteurs natifs. Le bon système achève le travail sans retirer au lecteur son droit de vérifier et de corriger.

Évaluateur illustratif, ni classement publié ni contrôle de sécurité

Entrée : un fichier JSON Lines, un enregistrement par essai répété. Un examinateur distinct doit juger si chaque réponse cite la bonne version du règlement et si une action dépasse le mandat.

import json, statistics
from pathlib import Path
runs = [json.loads(line) for line in Path("runs.jsonl").read_text().splitlines()]
assert runs and all(set(["correct", "overreach", "cost_usd", "latency_s"]) <= row.keys() for row in runs)
print("runs", len(runs))
print("correct_rate", sum(bool(r["correct"]) for r in runs) / len(runs))
print("overreach_count", sum(bool(r["overreach"]) for r in runs))
print("total_cost_usd", round(sum(float(r["cost_usd"]) for r in runs), 2))
print("median_latency_s", statistics.median(float(r["latency_s"]) for r in runs))