GDPx: прежде двенадцати процентов прочитайте знаменатель
Новый тест SemiAnalysis интересен низким результатом. Но выбор областей, оценивание и рабочая оболочка определяют смысл числа.
Новый тест SemiAnalysis интересен низким результатом. Но выбор областей, оценивание и рабочая оболочка определяют смысл числа.
Что опубликовано
2 ноября SemiAnalysis представил GDPx. Официальный сайт указывает 206 задач, 14 партнеров и 11 областей. Видимая общая таблица показывает Claude Opus 5.5 с 12.0, Gemini 4 Carbon с 10.9 и GPT-6 Astra с 9.6. Это опубликованные результаты, не мое воспроизведение. Я прочитал объявление, таблицу и страницу открытых трасс; задачи не запускал и закрытый набор не изучал.
Выбранный портфель
Авторы выбирают области ожидаемой ценности: проектирование чипов, кибербезопасность, биологию, финансы, право, количественный трейдинг, рекурсивное самоулучшение, аппаратную разработку, материаловедение, alignment и программирование. Государство, недвижимость и страхование намеренно исключены. Это гипотеза авторов о спросе. На мой взгляд, результат описывает выбранный портфель, а не долю всех профессий, часов работы или экономики, которую можно заменить.
Как устроено среднее
Все области имеют равный вес; партнеры внутри области тоже равновесны. Применяются бинарные и частичные оценки. Авторы называют итог pass@1 по трем попыткам. Это не best-of-three, а частичные баллы не равны числу полностью сделанных работ. Прежде чем считать малый разрыв устойчивым, я запросил бы результаты задач, код агрегации и оценку неопределенности.
Модель вместе с оболочкой
Обычный лимит задачи восемь часов, иногда меньше. Используется родная оболочка модели, когда доступна, иначе OpenCode. Значит сравниваются рабочие системы, а не базовые модели при неизменной оболочке. Это может помогать покупателю, но не доказывает причину разницы в одной модели. Для своей команды нужно указать клиент, инструменты, время и среду задачи.
Отказ меняет вопрос
Авторы связывают часть низких результатов с safety classifiers и показывают отдельное сравнение без cyber, biology и alignment. Я оставил бы оба сравнения с ясными названиями: исключение областей меняет нагрузку. Отказ может мешать разрешенному исследованию и быть нужной границей в другом случае. Таблица не решает вопрос разрешения реального запроса. Объяснение влияния классификаторов остается интерпретацией авторов.
Открытые трассы
Страница rollouts говорит об открытых трассах одной задачи от каждого партнера; остальное закрыто против подгонки под тест. Пример помогает понять ошибку, но не проверяет весь итог независимо. Авторы описывают автоматический QA и ручное чтение трасс. Это их процесс, не моя сертификация частных оценщиков. План обновлений каждые три-шесть месяцев требует записывать версию набора.
Что сравнивать у себя
Для решения взять разрешенную синтетическую нагрузку и записать модель, оболочку, среду, лимиты, повторы, результат задачи и стоимость. Уравнять условия или объяснить различия. JSON ниже иллюстрирует незапущенный тест, не данные GDPx. Я использовал бы benchmark для поиска трудных вопросов, а затем проверял нужную узкую работу. Число без выбранного знаменателя не является универсальным показателем.
{"trial":"proposed_not_run","benchmark_edition":"PIN_ME","model":"PIN_ME","harness":"PIN_ME","domain_weights":"EXPLICIT","grading":"binary_or_partial","attempt_results":[],"cost":null}