AI Extensions, 6 novembre : agent-desktop et le coût du clic répété

Une commande de clic expire alors que le formulaire a changé. La répéter risque de l'envoyer deux fois. Une nouvelle observation répond à la question laissée ouverte : qu'est-il réellement arrivé ?

Cette édition d'AI Extensions examine un seul projet en détail : agent-desktop de Vercel Labs. Sources vérifiées le 6 novembre 2026. Je n'ai installé aucun logiciel, accordé aucun accès système ni automatisé une application réelle. Le dernier commit inspecté date du 5 novembre ; le fichier LICENSE lu est Apache-2.0. La popularité ne mesure pas la qualité et aucun nombre d'étoiles ne sert de note.

Une vue sémantique du bureau

Le CLI et la bibliothèque C lisent les applications à travers les API d'accessibilité : AX sur macOS, UI Automation sur Windows et AT-SPI sur Linux. L'appelant reçoit une structure de l'interface et des références aux éléments. agent-desktop ne contient aucun modèle ; l'agent appelant décide de la suite.

Les noms des boutons et les relations entre fenêtres peuvent aider à inspecter une cible sans tout réduire aux coordonnées. Mais la vue dépend de ce que l'application expose. Mon analyse : elle réduit certaines ambiguïtés tout en conservant les limites d'un arbre incomplet ou incohérent.

Une référence appartient à un instantané

L'exemple du README utilise @s8f3k2p9:e8. La partie instantané est obligatoire ; @e8 seul est rejeté. Un changement peut produire STALE_REF ou AMBIGUOUS_TARGET. Il faut observer à nouveau et utiliser les nouvelles références. Plusieurs fenêtres peuvent imposer un identifiant explicite.

Pour un premier essai, je choisirais un document vide dans une session jetable : inspecter la fenêtre, choisir un champ connu, saisir un marqueur inoffensif puis relire l'interface. Changer de document demande de revérifier la cible. C'est un protocole proposé, pas un compte rendu d'exécution.

Observer → référence de l'instantané → action autorisée
                                             |
                                      observer à nouveau
                                             |
                            résultat attendu / état inconnu
                                             |
                            vérifier avant une autre écriture

Le contrat de reprise

Le guide des erreurs demande de raisonner sur le code et disposition, pas sur un message variable. La reprise n'est permise que si error.disposition.retry vaut safe. Une erreur peut décrire une livraison non vérifiée. Une réponse en échec ne prouve pas que l'application n'a reçu aucune entrée.

def next_step(envelope):
    if envelope.get("ok") is True:
        return "observe_expected_result"
    retry = envelope.get("error", {}).get("disposition", {}).get("retry")
    if retry == "safe":
        return "review_declared_recovery_and_target"
    return "inspect_state_without_repeating_action"

Ce pseudocode original n'est ni une implémentation de l'API ni un exemple exécuté. Il n'envoie volontairement aucune nouvelle commande. Même la branche safe exige une cible et une permission valides. Un clic achevé et un document contenant le texte voulu sont des observations différentes.

Headless reste une action réelle

Le README indique que les actions par référence utilisent l'accessibilité sans déplacer le pointeur ni prendre le focus par défaut. L'option --headed autorise l'entrée physique. Cette distinction décrit la livraison, pas l'autorisation d'envoyer un message, de payer ou de lire un contenu privé.

Les pages macOS et Linux détaillent les limites des plateformes. Le README liste macOS 13+, Windows 10 1809+ et Ubuntu 24.04+ pour Linux. Vérifier son système et les surfaces nécessaires reste indispensable. Passer automatiquement à l'entrée physique après un refus change les conditions d'exécution.

Les traces peuvent être privées

Le dépôt avertit que les instantanés, le presse-papiers, les captures, les sorties de commandes et les artefacts de débogage peuvent contenir des données privées. Le premier essai devrait utiliser des documents synthétiques sans compte personnel ouvert. Examiner les journaux, le stockage et ce que l'agent transmet à un modèle est une étape distincte.

Le chemin documenté comprend un paquet npm avec binaires natifs et des archives de publication. Le serveur MCP sur stdio expose les commandes à l'appelant et élargit les actions possibles. Une notice d'installation explique la mécanique ; elle ne constitue pas l'accord du propriétaire pour chaque effet.

Ce que je vérifierais

Mon seuil d'acceptation serait une modification de brouillon observée, un refus face à une fenêtre ambiguë, une nouvelle observation après une référence périmée et aucun double clic aveugle quand la livraison est inconnue. Conserver les échecs autant que les réussites, puis inspecter les traces avant partage. Le projet donne des noms concrets à ces frontières ; leur respect dans l'application choisie reste à vérifier.