AI Extensions, 6 בנובמבר: agent-desktop ומחיר הלחיצה החוזרת

פקודת לחיצה מגיעה לזמן הקצוב אחרי שהטופס השתנה. חזרה עליה עלולה לשלוח אותו פעמיים. קריאה מחודשת של החלון עונה על השאלה שנותרה פתוחה: מה באמת קרה?

מהדורת AI Extensions היום בוחנת פרויקט אחד לעומק: agent-desktop של Vercel Labs. המקורות נבדקו ב-6 בנובמבר 2026. לא התקנתי אותו, לא הענקתי גישת מערכת ולא הפעלתי יישום אמיתי. הקומיט האחרון שנבדק מתוארך ל-5 בנובמבר, וקובץ LICENSE שנקרא הוא Apache-2.0. פופולריות אינה מדד איכות ומספר כוכבים אינו משמש כאן לדירוג.

תצוגה סמנטית של שולחן העבודה

הפרויקט מציע CLI וספריית C לקריאת יישומים דרך ממשקי הנגישות: AX ב-macOS, ‏UI Automation ב-Windows ו-AT-SPI ב-Linux. הקורא מקבל מבנה ממשק ומזהים של רכיבים. אין מודל בתוך agent-desktop; הסוכן הקורא מחליט מה לעשות בהמשך.

שמות כפתורים וקשרים בין חלונות יכולים לסייע בבדיקת יעד במקום להסתמך רק על קואורדינטות. אבל התצוגה תלויה במה שהיישום חושף לנגישות. הניתוח שלי הוא שעץ סמנטי משפר את הבדיקה בלי לבטל אזורים חסרים או עמומים.

מזהה קשור לצילום מצב

דוגמת README משתמשת ב-@s8f3k2p9:e8. חלק צילום המצב חובה; הצורה המקוצרת @e8 נדחית. שינוי ממשק עשוי להחזיר STALE_REF או AMBIGUOUS_TARGET. הדרך המתועדת היא לצפות שוב ולהשתמש במזהים החדשים. ריבוי חלונות עשוי לדרוש מזהה חלון מפורש.

לניסיון ראשון הייתי בוחר מסמך ריק בסשן זמני: בודק חלון, בוחר שדה מוכר, מכניס סימן לא רגיש וקורא את התוצאה. מעבר למסמך אחר דורש בדיקת יעד חדשה. זהו ניסוי מוצע, לא תיאור של ניסיון שבוצע.

צפייה ← מזהה צילום מצב ← פעולה מורשית
                                  |
                             צפייה נוספת
                                  |
                    תוצאה צפויה או מצב לא ידוע?
                                  |
                       בדיקה לפני כתיבה נוספת

מתי אפשר לנסות שוב

מדריך השגיאות דורש להסתעף לפי קוד ו-disposition, ולא לפי טקסט הודעה משתנה. ניסיון חוזר מותר רק כאשר error.disposition.retry הוא safe. שגיאה עשויה לתאר מסירה שלא אומתה. תשובה כושלת אינה הוכחה שלא הגיע קלט ליישום.

def next_step(envelope):
    if envelope.get("ok") is True:
        return "observe_expected_result"
    retry = envelope.get("error", {}).get("disposition", {}).get("retry")
    if retry == "safe":
        return "review_declared_recovery_and_target"
    return "inspect_state_without_repeating_action"

זהו פסאודו-קוד מקורי להסבר, לא מימוש API ולא דוגמה שהורצה. הוא עוצר במכוון לפני שליחת פקודה נוספת. גם ענף safe דורש אישור ויעד תקף. השלמת לחיצה והופעת הטקסט הרצוי במסמך הן תצפיות שונות.

Headless אינו בידוד

README אומר שפעולות לפי מזהים משתמשות כברירת מחדל בנגישות בלי להזיז מצביע או לקחת מיקוד. הדגל --headed מאפשר קלט פיזי. ההבחנה מתארת את אופן המסירה, לא הרשאה לשלוח הודעה, לשלם או לקרוא תוכן פרטי.

עמודי macOS ו-Linux מתארים מגבלות פלטפורמה. README מציין macOS 13 ומעלה, Windows 10 1809 ומעלה ו-Ubuntu 24.04 ומעלה ב-Linux. צריך לבדוק את המערכת והמשטחים הדרושים בפועל. מעבר אוטומטי לקלט פיזי לאחר סירוב משנה את תנאי ההפעלה.

מה יוצא מהסשן

המאגר מזהיר שצילומי מבנה, לוח העתקה, תמונות, פלט פקודות וקובצי ניפוי יכולים להכיל תוכן פרטי. ניסיון ראשון צריך להשתמש בחומר סינתטי בלי חשבונות אישיים פתוחים. יש לבדוק מה נרשם, היכן הוא נשמר ומה הסוכן מעביר למודל או לשירות אחר. קובץ מקומי אינו תשובה מלאה לשאלת זרימת הנתונים.

מסלולי ההתקנה המתועדים כוללים חבילת npm עם קבצים נייטיביים ועזרים לפלטפורמות, וכן ארכיוני שחרור ישירים. שרת MCP דרך stdio חושף פקודות לקורא ומרחיב את הפעולות האפשריות. הוראות התקנה מסבירות מנגנון, לא הסכמה של הבעלים לכל השפעה.

בדיקות לפני אימוץ

הייתי דורש שינוי נצפה במסמך ניסוי, סירוב בחלון עמום, צפייה חדשה אחרי מזהה ישן והיעדר כתיבה חוזרת עיוורת כשהמסירה לא ידועה. צריך לשמור כישלונות לצד הצלחות ולבדוק תוכן תיעוד לפני שיתוף. הפרויקט מעניין מפני שהוא נותן שמות מדויקים לגבולות האלה; צריך עוד לבדוק אם הם מתקיימים ביישום שנבחר.