Обзор Agnes 3.0 Flash Overclock: проверяющий скрипт, QA-панель и честный бенчмарк

Что это за репозиторий

Репозиторий описан как экспериментальный набор для промпт-инжиниринга и проверки для Agnes 3.0 Flash, построенный вокруг русских сценариев коротких видео, переписывания с сохранением источника и JSON с ограничениями. README определяет «overclock» как настройку процесса, а не изменение весов модели и не доказательство максимального качества. Там же сказано, что набор не установлен ни в какой рабочий конвейер.

Нужен Python 3.10 или новее и только стандартная библиотека. Проверяющему скрипту не нужен ключ API, и он не обращается к сети. Файл LICENSE содержит лицензию MIT; кроме того, в репозитории лежат два навыка других авторов с их собственными файлами лицензий.

Что показал бенчмарк

README сообщает о шести задачах и двух образцах на условие; 10 октября 2026 года выполнено 35 из 36 запланированных вызовов. Вот опубликованные цифры.

README называет их ориентировочными оценками по проверкам ограничений. Пустые и неполные ответы исключены, знаменатели разные, слепой оценки качества не было, а эталоном служил набор ответов, написанный самим автором, а не проверенный прогон другой модели. Там сказано, что утверждение о паритете не подтверждено. Отчёт о бенчмарке добавляет, что итоги нельзя пересчитать из репозитория: нет сырых ответов, полных эталонов, исходного скрипта оценки и журнала вызовов, а 4 из 36 запланированных образцов отсутствуют в знаменателях, и установить их нельзя. Моя оценка: такое раскрытие встречается редко, и только благодаря ему цифры годятся как намёк, а не как результат.

Пять частей

• Проверка ответов. check.py проверяет диапазоны слов, строгий JSON, длительности сцен, ограничения на абзацы, числовые литералы и лишний текст вокруг ответа для шести готовых задач. Пример ответа я проверил, он прошёл. README оговаривает, что успех не доказывает правду, а числовые проверки сравнивают наборы литералов, а не связи между ними.
• QA-панель из 25 агентов. Метод с 25 «линзами» в 5 волнах по 5, плюс офлайн-CLI, который собирает задания, объединяет отчёты и проверяет статус исправлений. Репозиторий не запускает агентов; помощники проверяют только учёт. В документации сказано, что прогон дал 1 блокер и 11 существенных замечаний, и что эти числа взяты из списка самого ведущего агента, а не из независимого аудита.
• Фильтры unslop для интерфейса. Промпт и сканер на регулярных выражениях для «типового» фронтенд-кода. На синтетическом sloppy.css репозитория я получил 12 находок, из них 9 высоких или критических; на clean.css ни одной. Документация говорит, что правила пересказаны и это вопрос вкуса, лицензии источников не проверялись, а чистый результат ещё не значит, что всё хорошо.
• Шлюз подтверждения выполнения. Необязательный JSON-конверт с хэшами файлов, журналом команд, записями тестов и утверждениями о визуальной проверке. Документация прямо говорит, что проверяются наличие и форма, а не правда, и что правдоподобный выдуманный журнал может пройти. Запущенный мной пример прошёл.
• Умный роутер и MCP-сервер. route.py возвращает только указания для одной задачи и этапа по совпадению ключевых слов, без модели. MCP-сервер предоставляет шесть инструментов: agnes_check, agnes_list_tasks, agnes_get_prompt, agnes_build_messages, agnes_route и agnes_review_messages.

Что я запускал

На коммите 077e4ab весь набор сообщил: 113 тестов, OK, 1 пропущен (необязательный сетевой тест), примерно за 8 секунд. README называет то же число. Примеры проверки, сканера, роутера и шлюза подтверждения работали, как описано. Интеграции с хостами (Cursor, Codex, Claude Code и другими) я не запускал, доступа к Agnes у меня не было, поэтому промпты, проход редактора и цикл исправлений v2 мной не проверены. Репозиторий говорит то же.

Где он силён

• Утверждения соответствуют доказательствам. Каждое расширение помечено как непроверенное, а оговорки к бенчмарку стоят рядом с цифрами.
• Мало кода, легко проверить. Только стандартная библиотека, около 2800 строк Python вместе с тестами, никаких ключей.
• Аккуратная удалённая загрузка. Удалённые маршруты используют фиксированный источник, запрет перенаправлений, лимит времени и размера и пометку недоверенного текста; тесты проверяют это с подставной сетью.

Где тонко

• База доказательств. Единственный измеренный результат: один небольшой бенчмарк на русских задачах для коротких видео, который нельзя воспроизвести из репозитория.
• Форма, а не правда. Проверка, шлюз и сканер проверяют форму. Человеческая проверка фактов и голоса всё равно нужна, как и сказано в репозитории.
• Поддержка хостов не доказана. Конфигурации MCP для хостов сверены с документацией вендоров, но ни один хост не запускали от начала до конца.
• Узкая проверка. Готовые задачи нацелены на русские видеосценарии; для другого применения нужно писать свои ограничения.

Раскрытие

Три маршрута в этом репозитории, jg-prompts, jg-mcp и jg-extensions, загружают небольшие страницы с этого сайта, который вы сейчас читаете. На то, как написан репозиторий, я не влияю и старался оценивать его по тому же стандарту, что и любой другой. Всё же это стоит учесть.

Как бы я это оценивал

Прогоните офлайн-проверку на ответах, которые у вас уже есть, и посмотрите, совпадают ли её замечания с тем, что отметил бы редактор. Измерьте проход редактора на своих задачах, оставляя неудачные и пустые запуски в подсчёте. Цифры будут вашими; своих у меня нет, и выдуманные я не публикую.