OpenGCUA: Alibaba відкрила стек для computer-use, але моделі в коробці немає

Факти перевірено 17 жовтня 2026

15 жовтня команда MAI-UI з Alibaba Token Hub опублікувала OpenGCUA, перший випуск того, що вони називають повністю відкритим стеком для універсальних computer-use агентів. Викладено: харнес, попередній крос-пристроєвий SDK, промпти та траєкторії оцінок восьми фронтирних моделей. Не викладено: навчену модель. У їхніх власних прогонах на офлайн-наборі OSWorld-v2 повна конфігурація піднімає середній частковий бал на 19.6 пункту та скорочує кроки на задачу на 53.0%. Я прочитав звіт, репозиторій і файл LICENSE. звіт на arXiv

Що насправді викладено

OpenGCUA це звіт плюс репозиторій. Випуск покриває більшу частину того, що оточує модель: оціночний харнес, попередній харнес для реального Mac користувача, попередній крос-пристроєвий SDK, що прив'язує кожну операцію до конкретного пристрою, застосунку, вікна чи вкладки, промпти з прогонів і траєкторії оцінок восьми фронтирних моделей. Чого у випуску немає, то це навченої моделі. Звіт каже про це прямо і ставить модель першим пунктом дорожньої карти.

Визначення в основі це те, що я б залишив собі. Універсальний computer-use агент у їхньому формулюванні це не GUI-агент плюс доступ до шела. Це система, де модель на кожному кроці сама вирішує, що спостерігати (скриншот, дерево доступності, вивід команди, відповідь API чи нічого нового), як діяти (клік, операція над елементом, команда шела, виклик API чи програма, що їх поєднує) і як організувати роботу (план, облік прогресу, які спостереження лишаються в контексті). GUI-агенти, CLI-агенти та гібриди на кшталт їхнього власного Qwen-UI-Agent це часткові випадки, де частину цих рішень зафіксовано заздалегідь.

Цифри бенчмарка, спокійно

Заголовний результат: на офлайн-наборі OSWorld-v2 повна GCUA-конфігурація покращила всі вісім тестованих моделей, включно з GPT-6 Astra та Claude Opus 5, піднявши середній частковий бал на 19.6 пункту та скоротивши заявлені кроки на задачу на 53.0% відносно пакетного GUI-only виконання. Розрив між найсильнішою та найслабшою моделями скоротився більш ніж удвічі.

Спокійні застереження. Це прогони авторів на харнесі авторів на офлайн-наборі, і незалежних відтворень на сьогодні немає. Офлайн-набір це не онлайн-лідерборд. І харнес, що піднімає всі моделі, це результат про харнес, а не доказ того, яка модель найкраща.

Дві ідеї, які варто забрати з собою

Виконання коду як простір дій. За незмінного доступу до GUI та шела можливість писати GUI-операції кодом і змішувати їх із програмними операціями додала 6.1 пункту до середнього часткового балу та скоротила кроки на 14.8% відносно GUI+CLI базової лінії. Механізм не магія: проміжні результати спрямовують наступну операцію без зайвого виклику моделі, а програмувати моделі вже вміють. У розборі випадків звіт виділяє п'ять повторюваних патернів виконання коду.

Перенесення рішень із харнеса в модель. Більшість харнесів зашивають правила на кшталт «скриншот після кожного кроку». OpenGCUA передає ці рішення моделі: вона запитує скриншот, лише коли він потрібен, сама веде облік стану задачі та називає призначення кожної програми перед запуском. Саме лише спостереження на вимогу підняло частку влучань у промпт-кеш на 10.5 та 14.4 процентних пункту у двох моделей без втрати балів. Менше скриншотів це дешевші токени.

Розрив на реальних пристроях це чесна частина

Попередній харнес для реальних пристроїв працює на справжньому комп'ютері користувача, де агент ділить машину з її власником і діє у фонових вікнах, чого бенчмарки не відтворюють. За незмінного харнеса на чотирьох реальних задачах macOS відібрані прогони Qwen3.8-Max використали у 19.4 раза більше заявлених токенів міркувань, ніж GPT-6 Astra, і у 5.7 раза більше вихідних токенів, завершуючи водночас менше задач. Звіт пояснює розрив поведінкою моделі: дорогі міркування на простих операціях, труднощі з реальними умовами, слабше виконання коду.

Чотири задачі це крихітна вибірка, і слово «відібрані» тут несе навантаження. Ставтеся до співвідношення як до сигнальної лампи, а не як до вимірювання.

Ліцензія та стан репозиторію

Код під Apache-2.0, прочитано з файла LICENSE у репозиторії, а README документує швидкий старт вихідного харнеса на macOS і локальну демо-студію. Репозиторію кілька днів: 24 зірки й жодного форка на момент перевірки 17 жовтня. Посібник для контриб'юторів є. І харнес для реальних пристроїв, і крос-пристроєвий SDK названі попередніми. Репозиторій

Аналіз: моє прочитання

Довговічна частина цього випуску не таблиця балів. Це два переносимі уроки: нехай модель пише програми замість пакетів кліків, і не нав'язуйте їй спостереження, яких вона не запитувала. Будь-який харнес може перейняти обидва уроки цього тижня, а цифри щодо кеш-влучань натякають, що другий окупається сам. Формулювання «повністю відкритий стек» поки описує стек без центральної деталі, тому чесне формулювання: відкриті харнес та інструменти, модель у дорозі. Якщо навчена модель вийде під тією ж ліцензією, це стане точкою відліку для відкритих досліджень computer-use. Якщо ні, уроки дизайну все одно лишаться.

Чого я не зміг підтвердити

Я не запускав харнес і SDK та не перевіряв викладені траєкторії. Цифри OSWorld-v2 це офлайн-набір на власному харнесі команди. Співвідношення токенів на реальних пристроях отримані на чотирьох задачах з відібраними прогонами. Публічної навченої моделі немає, тому будь-яке твердження про OpenGCUA-модель це обіцянка дорожньої карти.

Перевірка, яку можна виконати

Два заголовні числа, мінус 53% кроків і зростання кеш-влучань, це арифметика, яку можна застосувати до свого навантаження до того, як їм вірити. Заготовка нижче бере середню кількість кроків вашого агента на задачу та ціни вашого провайдера на кешований і звичайний ввід, і показує, що заяви статті означали б для вартості задачі. Підставте свої числа.

Ілюстративна арифметика, не код команди

# Illustrative arithmetic from the OpenGCUA report's own claims. Not the team's code.
# Claims (offline OSWorld-v2, 8 models): 53.0% fewer steps per task,
# and on-demand observation raising prompt-cache hits by 10.5-14.4 points for two models.
steps_before = 42          # your agent's average steps per task today - edit
input_tokens_per_step = 6000
cache_read_price = 0.10    # $ per 1M cached input tokens - edit
fresh_input_price = 1.00   # $ per 1M uncached input tokens - edit

steps_after = steps_before * (1 - 0.530)
def cost_per_task(steps, hit_rate):
    per_step = input_tokens_per_step * ((1 - hit_rate) * fresh_input_price + hit_rate * cache_read_price) / 1_000_000
    return steps * per_step
print(f"steps per task: {steps_before:.0f} -> {steps_after:.0f}")
for h in (0.50, 0.50 + 0.144):
    print(f"cache hit {h:.1%}: ${cost_per_task(steps_before, h):.3f} -> ${cost_per_task(steps_after, h):.3f} per task")

Джерела та свіжість

• Звіт на arXiv, 15 жовтня
• Репозиторій на GitHub, Apache-2.0
• Сайт проєкту