GDPx: lire le dénominateur avant les douze pour cent
Le nouveau benchmark de SemiAnalysis affiche un score faible. Choix des domaines, notation et harnais déterminent ce que ce chiffre permet de conclure.
Le nouveau benchmark de SemiAnalysis affiche un score faible. Choix des domaines, notation et harnais déterminent ce que ce chiffre permet de conclure.
La publication du jour
SemiAnalysis a publié GDPx le 2 novembre. Le site officiel indique 206 tâches, 14 partenaires et 11 domaines. Le tableau agrégé visible place Claude Opus 5.5 à 12.0, Gemini 4 Carbon à 10.9 et GPT-6 Astra à 9.6. Ce sont les résultats publiés, sans reproduction de ma part. J'ai lu annonce, tableau et page des traces publiques, sans exécuter de tâche ni consulter le jeu privé.
Un portefeuille choisi
Les auteurs visent conception de puces, cybersécurité, biologie, finance, droit, trading quantitatif, auto-amélioration récursive, matériel, science des matériaux, alignment et logiciel. Ils excluent volontairement administration publique, immobilier et assurance. C'est leur thèse sur la demande future. Selon mon analyse, le score décrit ce portefeuille; il n'estime pas directement la part des emplois, heures ou activités économiques remplaçables.
La moyenne est construite
Chaque domaine a le même poids, ainsi que chaque partenaire dans un domaine à plusieurs partenaires. Les notes sont binaires ou partielles. Les auteurs parlent de pass@1 sur trois tentatives. Ce n'est pas une réussite au meilleur de trois essais; les points partiels ne comptent pas des travaux entièrement terminés. Avant de traiter un faible écart comme durable, je demanderais résultats par tâche, code d'agrégation et incertitude.
Le modèle et son harnais
La limite habituelle est huit heures, plus courte pour certaines tâches. Les harnais natifs sont utilisés quand disponibles, sinon OpenCode. On compare donc des systèmes de travail, sans maintenir chaque harnais constant. Cela peut convenir à un acheteur, sans isoler l'effet du seul modèle. Pour une équipe, noter client, outils, budget de temps et environnement visés.
Le sens d'un refus
Les auteurs attribuent certains scores aux classificateurs de sécurité et montrent une variante sans cyber, biologie ni alignment. Je garderais les deux comparaisons distinctes: retirer des domaines change le travail évalué. Un refus peut gêner une recherche autorisée ou protéger une limite nécessaire ailleurs. Le classement ne décide pas des permissions d'une demande réelle. Je n'ai pas vérifié cette explication causale des auteurs.
Des traces publiques limitées
La page rollouts dit que chaque partenaire ouvre les traces d'une tâche, le reste demeurant privé contre l'optimisation sur le test. Un exemple explique une erreur sans valider tout le score. QA automatique et examen manuel des trajectoires sont le processus décrit par les auteurs, pas une certification de ma part. Leur projet de versions tous les trois à six mois impose de noter l'édition.
Ma comparaison locale
Choisir un travail synthétique autorisé et conserver modèle, harnais, environnement, limites, reprises, résultats et coût. Égaliser les conditions ou expliquer les différences. Le JSON ci-dessous est une fiche non exécutée, sans résultat GDPx. J'utiliserais le benchmark pour trouver des questions difficiles, puis testerais le travail précis recherché. Le chiffre a besoin de son dénominateur pour rester utile.
{"trial":"proposed_not_run","benchmark_edition":"PIN_ME","model":"PIN_ME","harness":"PIN_ME","domain_weights":"EXPLICIT","grading":"binary_or_partial","attempt_results":[],"cost":null}