Огляд Agnes 3.0 Flash Overclock: перевіряльник, QA-панель і чесний бенчмарк

Що це за репозиторій

Репозиторій описано як експериментальний набір для промпт-інжинірингу та перевірки для Agnes 3.0 Flash, збудований навколо російських сценаріїв коротких відео, переписування зі збереженням джерела та JSON з обмеженнями. README визначає «overclock» як налаштування процесу, а не зміну ваг моделі й не доказ максимальної якості. Там же сказано, що набір не встановлено в жоден робочий конвеєр.

Потрібен Python 3.10 або новіший і лише стандартна бібліотека. Скрипту перевірки не потрібен ключ API, і він не звертається до мережі. Файл LICENSE містить ліцензію MIT; крім того, у репозиторії лежать дві навички інших авторів зі своїми файлами ліцензій.

Що показав бенчмарк

README повідомляє про шість завдань і два зразки на умову; 10 жовтня 2026 року виконано 35 із 36 запланованих викликів. Ось опубліковані цифри.

README називає їх орієнтовними оцінками за перевірками обмежень. Порожні та неповні відповіді виключено, знаменники різні, сліпої оцінки якості не було, а еталоном слугував набір відповідей, написаний самим автором, а не перевірений прогін іншої моделі. Там сказано, що твердження про паритет не підтверджене. Звіт про бенчмарк додає, що підсумки не можна перерахувати з репозиторію: немає сирих відповідей, повних еталонів, початкового скрипта оцінювання та журналу викликів, а 4 із 36 запланованих зразків відсутні в знаменниках, і встановити їх неможливо. Моя оцінка: таке розкриття трапляється рідко, і лише завдяки йому цифри годяться як натяк, а не як результат.

П’ять частин

• Перевірка відповідей. check.py перевіряє діапазони слів, строгий JSON, тривалість сцен, обмеження на абзаци, числові літерали та зайвий текст навколо відповіді для шести готових завдань. Приклад відповіді я перевірив, він пройшов. README застерігає, що успіх не доводить правди, а числові перевірки порівнюють набори літералів, а не зв’язки між ними.
• QA-панель із 25 агентів. Метод із 25 «лінзами» у 5 хвилях по 5, плюс офлайн-CLI, який збирає завдання, об’єднує звіти та перевіряє статус виправлень. Репозиторій не запускає агентів; помічники перевіряють лише облік. У документації сказано, що прогін дав 1 блокер і 11 суттєвих зауважень, і що ці числа взято зі списку самого провідного агента, а не з незалежного аудиту.
• Фільтри unslop для інтерфейсу. Промпт і сканер на регулярних виразах для «типового» фронтенд-коду. На синтетичному sloppy.css репозиторію я отримав 12 знахідок, із них 9 високих або критичних; на clean.css жодної. Документація каже, що правила переказані й це питання смаку, ліцензії джерел не перевірялися, а чистий результат ще не означає, що все гаразд.
• Шлюз підтвердження виконання. Необов’язковий JSON-конверт із хешами файлів, журналом команд, записами тестів і твердженнями про візуальну перевірку. Документація прямо каже, що перевіряються наявність і форма, а не правда, і що правдоподібний вигаданий журнал може пройти. Запущений мною приклад пройшов.
• Розумний роутер і MCP-сервер. route.py повертає лише вказівки для одного завдання та етапу за збігом ключових слів, без моделі. MCP-сервер надає шість інструментів: agnes_check, agnes_list_tasks, agnes_get_prompt, agnes_build_messages, agnes_route і agnes_review_messages.

Що я запускав

На коміті 077e4ab увесь набір повідомив: 113 тестів, OK, 1 пропущено (необов’язковий мережевий тест), приблизно за 8 секунд. README називає те саме число. Приклади перевірки, сканера, роутера та шлюзу підтвердження працювали, як описано. Інтеграції з хостами (Cursor, Codex, Claude Code та іншими) я не запускав, доступу до Agnes у мене не було, тож промпти, прохід редактора і цикл виправлень v2 мною не перевірені. Репозиторій каже те саме.

Де він сильний

• Твердження відповідають доказам. Кожне розширення позначене як неперевірене, а застереження до бенчмарку стоять поруч із цифрами.
• Мало коду, легко перевірити. Лише стандартна бібліотека, близько 2800 рядків Python разом із тестами, жодних ключів.
• Акуратне віддалене завантаження. Віддалені маршрути використовують фіксоване джерело, заборону перенаправлень, ліміт часу й розміру та позначку недовіреного тексту; тести перевіряють це з підставною мережею.

Де тонко

• База доказів. Єдиний виміряний результат: один невеликий бенчмарк на російських завданнях для коротких відео, який не можна відтворити з репозиторію.
• Форма, а не правда. Перевірка, шлюз і сканер перевіряють форму. Людська перевірка фактів і голосу все одно потрібна, як і сказано в репозиторії.
• Підтримка хостів не доведена. Конфігурації MCP для хостів звірено з документацією вендорів, але жоден хост не запускали від початку до кінця.
• Вузька перевірка. Готові завдання націлені на російські відеосценарії; для іншого застосування треба писати власні обмеження.

Розкриття

Три маршрути в цьому репозиторії, jg-prompts, jg-mcp і jg-extensions, завантажують невеликі сторінки з цього сайту, який ви зараз читаєте. На те, як написано репозиторій, я не впливаю й намагався оцінювати його за тим самим стандартом, що й будь-який інший. Проте це варто врахувати.

Як би я це оцінював

Проженіть офлайн-перевірку на відповідях, які вже маєте, і подивіться, чи збігаються її зауваження з тим, що позначив би редактор. Виміряйте прохід редактора на своїх завданнях, залишаючи невдалі та порожні запуски в підрахунку. Цифри будуть вашими; власних у мене немає, а вигаданих я не публікую.