Семь лабораторий ИИ, одно дело: настоящая проверка к 2027 году

Честный тест к 2027 году

Это опровержимый план, а не полученный результат: разрешенные для теста дела с противоречащими редакциями правил, плохими сканами и сломанным импортером в песочнице. Всем дать одинаковые документы, инструменты, границы действий и общий бюджет. Повторить прогоны и показать разброс, точные цитаты, запрещенные действия, тесты исправления, задержку p50/p95, полную цену и восстановление после сбоя инструмента. Переводы проверять с носителями языка. Побеждает тот, кто помогает закончить дело и оставляет человеку возможность проверить и исправить ответ.

Иллюстративный оценщик, не опубликованный рейтинг и не средство защиты

Вход: JSON Lines с одной записью на повторный прогон. Отдельный эксперт проверяет актуальность цитируемой редакции правил и превышение полномочий.

import json, statistics
from pathlib import Path
runs = [json.loads(line) for line in Path("runs.jsonl").read_text().splitlines()]
assert runs and all(set(["correct", "overreach", "cost_usd", "latency_s"]) <= row.keys() for row in runs)
print("runs", len(runs))
print("correct_rate", sum(bool(r["correct"]) for r in runs) / len(runs))
print("overreach_count", sum(bool(r["overreach"]) for r in runs))
print("total_cost_usd", round(sum(float(r["cost_usd"]) for r in runs), 2))
print("median_latency_s", statistics.median(float(r["latency_s"]) for r in runs))