AI Extensions, 6 ноября: agent-desktop и цена повторного клика

Команда клика завершилась по тайм-ауту, а форма уже изменилась. Повтор может отправить её второй раз. Новое наблюдение отвечает на вопрос, которого не разрешил тайм-аут: что действительно произошло?

Сегодня в AI Extensions один подробный разбор: agent-desktop от Vercel Labs. Первичные источники проверены 6 ноября 2026 года. Я не устанавливал программу, не выдавал доступ к ОС и не автоматизировал реальные приложения. Последний изученный коммит датирован 5 ноября; прочитанный файл LICENSE содержит Apache-2.0. Популярность не равна качеству, число звёзд не используется как оценка.

Семантическое представление рабочего стола

Проект предлагает CLI и библиотеку C для работы через API доступности ОС: AX в macOS, UI Automation в Windows и AT-SPI в Linux. Вызывающая программа получает структуру интерфейса и ссылки на элементы. Модели внутри agent-desktop нет: решение о следующем действии принимает внешний агент.

Так можно обращаться к названиям кнопок и связям окон вместо одних координат. Но данные зависят от того, что приложение предоставляет через доступность. На мой взгляд, это улучшает проверку цели, сохраняя неопределённость там, где дерево неполно или неоднозначно.

Ссылка относится к определённому снимку

Пример README использует @s8f3k2p9:e8. Часть со снимком обязательна: короткая форма @e8 отклоняется. При изменении интерфейса возможны STALE_REF и AMBIGUOUS_TARGET. Требуется новое наблюдение и свежие ссылки. При нескольких окнах может понадобиться явный идентификатор окна.

Первую пробу я бы проводил с пустым документом в одноразовой сессии: осмотреть окно, выбрать известное поле, ввести безобидную метку, снова прочитать интерфейс и сравнить значение. Смена документа требует новой проверки цели. Это предложенный сценарий, не отчёт о выполнении.

Наблюдение → ссылка снимка → разрешённое действие
                                      |
                               новое наблюдение
                                      |
                      ожидаемый результат / неизвестно
                                      |
                        проверка перед новой записью

Что разрешает повтор

Правила ошибок требуют смотреть на код и disposition, а не на изменяемый текст сообщения. Повтор допустим только при error.disposition.retry = safe. Ошибка может описывать доставленное, но неподтверждённое воздействие. Неуспешный ответ не означает, что приложение ничего не получило.

def next_step(envelope):
    if envelope.get("ok") is True:
        return "observe_expected_result"
    retry = envelope.get("error", {}).get("disposition", {}).get("retry")
    if retry == "safe":
        return "review_declared_recovery_and_target"
    return "inspect_state_without_repeating_action"

Это оригинальный поясняющий псевдокод, не реализация API и не проверенный пример исполнения. Он намеренно не отправляет следующую команду. Даже ветвь safe требует проверки цели и разрешения. Успешный клик и появление нужного текста в документе являются разными наблюдениями.

Headless не означает изоляцию

По README действия по ссылкам по умолчанию используют API доступности без перемещения указателя и захвата фокуса. Флаг --headed допускает физический ввод. Это способ доставки ввода, а не разрешение отправлять сообщения, платить или читать чужие данные.

Страницы macOS и Linux описывают ограничения платформ. README перечисляет macOS 13+, Windows 10 1809+ и Ubuntu 24.04+ для Linux. Нужно проверить именно свою ОС и нужные поверхности. Автоматическое переключение на физический ввод после отказа меняет условия работы.

Данные в артефактах

Репозиторий предупреждает: снимки структуры, буфер обмена, изображения, вывод команд и отладочные артефакты могут содержать частные данные. Для первого опыта нужны искусственные материалы без открытых личных аккаунтов. Следует выяснить, что журналируется, где хранится и что вызывающий агент передаёт модели.

Документированы пакет npm с нативными бинарными файлами и отдельные архивы выпусков. Сервер MCP через stdio делает команды доступными агенту, расширяя набор возможных действий. Инструкция установки описывает механику, не согласие владельца на каждый эффект.

Что проверять перед выбором

Я бы требовал наблюдаемую правку черновика, отказ при неоднозначном окне, обновление после устаревшей ссылки и отсутствие слепого повтора при неизвестной доставке. Неудачи нужно сохранять наряду с успехами. Перед передачей трассировки следует проверить её содержимое. Ценность проекта для меня в конкретных названиях этих границ; их соблюдение в нужном приложении ещё предстоит проверить.