OpenGCUA : Alibaba ouvre la pile computer-use, mais le modèle n'est pas dans la boîte
L'équipe MAI-UI d'Alibaba Token Hub a publié OpenGCUA : harnais, SDK, prompts et trajectoires d'évaluation ouverts pour des agents computer-use généralistes, avec des gains annoncés sur OSWorld-v2 pour huit modèles de pointe. Le modèle entraîné est promis, pas publié. Licence Apache-2.0, et les chiffres sont ceux de l'équipe.
Faits vérifiés le 17 octobre 2026
Le 15 octobre, l'équipe MAI-UI d'Alibaba Token Hub a publié OpenGCUA, première version de ce qu'elle appelle une pile entièrement ouverte pour les agents computer-use généralistes. Publié : un harnais, un SDK multi-appareils préliminaire, les prompts et les trajectoires d'évaluation de huit modèles de pointe. Non publié : un modèle entraîné. Sur leurs propres exécutions du jeu hors ligne OSWorld-v2, la configuration complète augmente le score partiel moyen de 19,6 points et réduit les étapes par tâche de 53,0 %. J'ai lu le rapport, le dépôt et le fichier LICENSE. rapport arXiv
Ce qui a réellement été publié
OpenGCUA est un rapport plus un dépôt. La version couvre la plupart de ce qui entoure le modèle : un harnais d'évaluation, un harnais préliminaire pour le Mac réel d'un utilisateur, un SDK multi-appareils préliminaire qui lie chaque opération à un appareil, une application, une fenêtre ou un onglet explicite, les prompts des exécutions et les trajectoires d'évaluation de huit modèles de pointe. Ce que la version ne contient pas, c'est un modèle entraîné. Le rapport le dit lui-même et place le modèle en tête de sa feuille de route.
La définition sous-jacente est la partie que je garderais. Un agent computer-use généraliste, dans leur formulation, n'est pas un agent GUI plus un accès shell. C'est un système où le modèle décide à chaque étape ce qu'il observe (capture d'écran, arbre d'accessibilité, sortie de commande, réponse d'API, ou rien de nouveau), comment il agit (un clic, une opération sur un élément, une commande shell, un appel d'API, ou un programme qui les combine) et comment il organise son travail (le plan, le suivi de progression, les observations conservées en contexte). Les agents GUI seuls, les agents CLI et les hybrides comme leur propre Qwen-UI-Agent sont des cas particuliers qui fixent certaines de ces décisions à l'avance.
Les chiffres du benchmark, lus calmement
Le résultat principal : sur le jeu hors ligne d'OSWorld-v2, la configuration GCUA complète a amélioré les huit modèles testés, dont GPT-6 Astra et Claude Opus 5, augmentant le score partiel moyen de 19,6 points et réduisant les étapes déclarées par tâche de 53,0 % par rapport à l'exécution GUI seule par lots. L'écart entre le modèle le plus fort et le plus faible a diminué de plus de moitié.
Réserves calmes. Ce sont les exécutions des auteurs, sur le harnais des auteurs, sur un jeu hors ligne, sans reproduction indépendante à ce jour. Le jeu hors ligne n'est pas le classement en ligne. Et un harnais qui améliore tous les modèles est un résultat sur le harnais, pas une preuve du meilleur modèle.
Deux idées de conception à emporter
L'exécution de code comme espace d'action. À accès GUI et shell constant, laisser le modèle écrire les opérations GUI en code et les mélanger à des opérations programmatiques a ajouté 6,1 points au score partiel moyen et réduit les étapes de 14,8 % par rapport à la base GUI+CLI. Le mécanisme n'est pas magique : les résultats intermédiaires orientent l'opération suivante sans appel supplémentaire au modèle, et les modèles savent déjà programmer. L'étude de cas du rapport identifie cinq schémas récurrents d'exécution de code.
Le transfert de décisions du harnais vers le modèle. La plupart des harnais codent en dur des règles comme une capture après chaque étape. OpenGCUA confie ces décisions au modèle : il ne demande une capture que lorsqu'il en a besoin, suit lui-même l'état de sa tâche et déclare l'objet de chaque programme avant de l'exécuter. L'observation à la demande seule a augmenté les taux de succès du cache de prompts de 10,5 et 14,4 points de pourcentage pour deux modèles, sans baisser les scores. Moins de captures, ce sont des jetons moins chers.
L'écart sur appareil réel est la partie honnête
Le harnais préliminaire pour appareils réels tourne sur la machine de l'utilisateur, où l'agent partage l'ordinateur avec son propriétaire et agit sur des fenêtres en arrière-plan, des défis que les benchmarks ne capturent pas. À harnais constant sur quatre tâches macOS réelles, des exécutions sélectionnées de Qwen3.8-Max ont utilisé 19,4 fois plus de jetons de raisonnement déclarés que GPT-6 Astra et 5,7 fois plus de jetons de sortie, tout en accomplissant moins de tâches. Le rapport attribue l'écart au comportement du modèle : raisonnement coûteux pour des opérations simples, difficulté à s'adapter aux conditions réelles, exécution de code plus faible.
Quatre tâches forment un échantillon minuscule, et le mot sélectionnées travaille dans cette phrase. Prenez le ratio comme un voyant d'alerte, pas comme une mesure.
Licence et état du dépôt
Le code est sous Apache-2.0, lu dans le fichier LICENSE du dépôt, et le README documente un démarrage rapide macOS pour le harnais source avec un studio de démonstration local. Le dépôt a quelques jours : 24 étoiles et aucun fork lors de ma vérification le 17 octobre. Un guide de contribution existe. Le harnais pour appareils réels comme le SDK multi-appareils sont décrits comme préliminaires. Dépôt
Analyse : ma lecture
La partie durable de cette version n'est pas le tableau des scores. Ce sont les deux leçons transférables : laissez le modèle écrire des programmes plutôt que des lots de clics, et cessez d'imposer des observations qu'il n'a pas demandées. N'importe quel harnais peut adopter les deux cette semaine, et les chiffres du cache suggèrent que la seconde se rembourse toute seule. La formule pile entièrement ouverte décrit pour l'instant une pile sans sa pièce centrale ; l'étiquette honnête est donc harnais et outillage ouverts, modèle à venir. Si le modèle entraîné sort sous la même licence, cela devient le point de référence pour la recherche ouverte en computer-use. Sinon, les leçons de conception restent valables.
Ce que je n'ai pas pu confirmer
Je n'ai exécuté ni le harnais ni le SDK, et je n'ai pas audité les trajectoires publiées. Les chiffres OSWorld-v2 sont le jeu hors ligne sur le harnais de l'équipe. Les ratios de jetons sur appareils réels proviennent de quatre tâches avec des exécutions sélectionnées. Aucun modèle entraîné n'est public, donc toute affirmation sur le modèle OpenGCUA est une promesse de feuille de route.
Un contrôle que vous pouvez exécuter
Les deux chiffres principaux, 53 % d'étapes en moins et de meilleurs taux de cache, sont une arithmétique applicable à votre propre charge avant d'y croire. Le code ci-dessous prend le nombre moyen d'étapes par tâche de votre agent et les prix d'entrée mis en cache et non mis en cache de votre fournisseur, et montre ce que les affirmations du rapport signifieraient pour le coût par tâche. Remplacez les chiffres par les vôtres.
Arithmétique illustrative, pas le code de l'équipe
# Illustrative arithmetic from the OpenGCUA report's own claims. Not the team's code.
# Claims (offline OSWorld-v2, 8 models): 53.0% fewer steps per task,
# and on-demand observation raising prompt-cache hits by 10.5-14.4 points for two models.
steps_before = 42 # your agent's average steps per task today - edit
input_tokens_per_step = 6000
cache_read_price = 0.10 # $ per 1M cached input tokens - edit
fresh_input_price = 1.00 # $ per 1M uncached input tokens - edit
steps_after = steps_before * (1 - 0.530)
def cost_per_task(steps, hit_rate):
per_step = input_tokens_per_step * ((1 - hit_rate) * fresh_input_price + hit_rate * cache_read_price) / 1_000_000
return steps * per_step
print(f"steps per task: {steps_before:.0f} -> {steps_after:.0f}")
for h in (0.50, 0.50 + 0.144):
print(f"cache hit {h:.1%}: ${cost_per_task(steps_before, h):.3f} -> ${cost_per_task(steps_after, h):.3f} per task")