GDPx: перед дванадцятьма відсотками прочитайте знаменник
Новий тест SemiAnalysis цікавий низьким результатом. Вибір галузей, оцінювання й оболонки визначає його зміст.
Новий тест SemiAnalysis цікавий низьким результатом. Вибір галузей, оцінювання й оболонки визначає його зміст.
Що вийшло
2 листопада SemiAnalysis опублікував GDPx. Офіційний сайт показує 206 завдань, 14 партнерів і 11 галузей. Видима загальна таблиця має Claude Opus 5.5 з 12.0, Gemini 4 Carbon з 10.9 та GPT-6 Astra з 9.6. Це результати джерела, не мого відтворення. Я прочитав оголошення, таблицю й відкриті траси, але не запускав завдань і не бачив закритого набору.
Вибраний портфель
Автори обрали проєктування чипів, кібербезпеку, біологію, фінанси, право, кількісну торгівлю, рекурсивне самовдосконалення, апаратну розробку, матеріалознавство, alignment і програмування. Державний сектор, нерухомість і страхування навмисно пропущено. Це їхня гіпотеза про попит. Мій висновок: бал описує цей портфель, а не частку всіх професій, годин чи економіки, яку можна замінити.
Конструкція середнього
Галузі мають рівну вагу; партнери всередині галузі теж. Оцінки бувають бінарні й часткові. Автори називають підсумок pass@1 за трьома спробами. Це не найкраща з трьох спроб, і часткові бали не є кількістю завершених робіт. Перед висновком про малу різницю я хотів би результати завдань, код агрегації та оцінку невизначеності.
Разом з оболонкою
Типовий ліміт вісім годин, у частини завдань коротший. Використовують рідні оболонки моделей, коли є, інакше OpenCode. Це порівняння робочих систем, не чистий експеримент із незмінною оболонкою. Воно може бути корисним покупцю, але не доводить, що лише базова модель спричинила різницю. Для команди потрібні клієнт, інструменти, час і середовище.
Роль відмов
Автори пояснюють частину результатів safety classifiers і показують варіант без cyber, biology та alignment. Я зберігав би обидва з чіткими назвами: вилучення галузей змінює навантаження. Відмова може заважати дозволеному досліду й бути необхідною межею в іншому контексті. Benchmark не дає дозволу на реальний запит. Причинне пояснення авторів я не перевіряв.
Межа відкритих трас
Rollouts каже, що кожен партнер відкрив траси одного завдання, решта закрита проти підгонки. Приклад пояснює помилку, але не перевіряє весь бал незалежно. Автоматичний QA й ручний перегляд є описаним процесом авторів, не моїм підтвердженням усіх оцінювачів. План оновлювати набір кожні три-шість місяців означає потребу записувати редакцію.
Практичне порівняння
Взяти дозволене штучне навантаження, зберегти модель, оболонку, середовище, ліміти, повтори, результати й ціну. Умови зрівняти або пояснити різницю. JSON нижче є незапущеним прикладом, не виходом GDPx. Я шукав би в новому тесті складні питання, а потім перевіряв потрібну вузьку роботу. Число без знаменника не стає універсальною здатністю.
{"trial":"proposed_not_run","benchmark_edition":"PIN_ME","model":"PIN_ME","harness":"PIN_ME","domain_weights":"EXPLICIT","grading":"binary_or_partial","attempt_results":[],"cost":null}