Сім лабораторій ШІ, одна справа: справжня перевірка до 2027 року

Чесний тест до 2027 року

Це спростовний план, а не результат: дозволені для тесту справи із суперечливими редакціями правил, нечіткими сканами та зламаним імпортером у пісочниці. Однакові документи, інструменти, межі дій і загальний бюджет для всіх. Повторіть прогони та опублікуйте розкид, точні цитати, заборонені дії, тести виправлення, затримку p50/p95, повну ціну та відновлення після збою інструмента. Переклади перевіряйте з носіями мови. Виграє система, яка допомагає завершити справу й залишає людині змогу перевірити та виправити відповідь.

Приклад оцінювача, не опублікований рейтинг і не засіб захисту

Вхід: JSON Lines з одним записом на повторний прохід. Окремий експерт перевіряє чинність цитованої редакції правил і перевищення повноважень.

import json, statistics
from pathlib import Path
runs = [json.loads(line) for line in Path("runs.jsonl").read_text().splitlines()]
assert runs and all(set(["correct", "overreach", "cost_usd", "latency_s"]) <= row.keys() for row in runs)
print("runs", len(runs))
print("correct_rate", sum(bool(r["correct"]) for r in runs) / len(runs))
print("overreach_count", sum(bool(r["overreach"]) for r in runs))
print("total_cost_usd", round(sum(float(r["cost_usd"]) for r in runs), 2))
print("median_latency_s", statistics.median(float(r["latency_s"]) for r in runs))