AI Extensions، 6 نوفمبر: agent-desktop وكلفة النقرة المكررة

تنتهي مهلة أمر نقرة بعد أن يتغير النموذج. قد يرسله تكرار النقرة مرتين. قراءة النافذة من جديد تجيب عن السؤال الذي تركته المهلة مفتوحا: ماذا حدث فعلا؟

تتناول نسخة AI Extensions اليوم مشروعا واحدا بالتفصيل: agent-desktop من Vercel Labs. فحصت المصادر في 6 نوفمبر 2026. لم أثبت البرنامج أو أمنحه وصولا إلى النظام أو أؤتمت تطبيقا حقيقيا. آخر تعديل فحصته مؤرخ في 5 نوفمبر، وملف LICENSE الفعلي هو Apache-2.0. الشعبية ليست مقياس جودة، ولا أستخدم النجوم للتقييم.

بنية دلالية لسطح المكتب

يوفر المشروع واجهة أوامر ومكتبة C لقراءة التطبيقات عبر واجهات إمكانية الوصول: AX في macOS وUI Automation في Windows وAT-SPI في Linux. يحصل المستدعي على بنية الواجهة ومراجع إلى عناصرها. لا يوجد نموذج داخل agent-desktop، فالوكيل المستدعي يقرر الخطوة التالية.

قد تساعد أسماء الأزرار وعلاقات النوافذ على التحقق من الهدف بدلا من الاقتصار على الإحداثيات. لكن المشاهدة تعتمد على ما يكشفه التطبيق عبر إمكانية الوصول. تحليلي أن البنية الدلالية تحسن تحديد الهدف، بينما تبقى الأجزاء الناقصة أو الملتبسة بحاجة إلى معالجة صريحة.

المرجع مرتبط بلقطة محددة

يستخدم مثال README الصيغة @s8f3k2p9:e8. جزء اللقطة مطلوب، ويرفض المرجع المختصر @e8. قد يؤدي تغير الواجهة إلى STALE_REF أو AMBIGUOUS_TARGET. المسار الموثق هو أخذ مشاهدة جديدة واستخدام مراجعها. وقد يتطلب تعدد النوافذ معرف نافذة صريحا.

سأختار للمحاولة الأولى مستندا فارغا في جلسة مؤقتة: فحص النافذة، اختيار حقل معروف، كتابة علامة غير حساسة، ثم قراءة القيمة ومقارنتها. تغيير المستند يتطلب فحص الهدف مجددا. هذه تجربة مقترحة وليست تقرير تنفيذ.

افحص النافذة ← مرجع اللقطة ← فعل مسموح
                                   |
                              افحص مجددا
                                   |
                      نتيجة متوقعة أم حالة مجهولة؟
                                   |
                    تحقق قبل أي كتابة أخرى

متى يسمح بتكرار المحاولة؟

يطالب دليل الأخطاء والتعافي بالاعتماد على رمز الخطأ وdisposition، لا نص الرسالة المتغير. لا تكرر إلا إذا كانت قيمة error.disposition.retry هي safe. قد يصف الفشل إدخالا وصل ولم يتم التحقق منه. الرد غير الناجح لا يثبت أن التطبيق لم يستقبل شيئا.

def next_step(envelope):
    if envelope.get("ok") is True:
        return "observe_expected_result"
    retry = envelope.get("error", {}).get("disposition", {}).get("retry")
    if retry == "safe":
        return "review_declared_recovery_and_target"
    return "inspect_state_without_repeating_action"

هذا شبه كود أصلي للتوضيح، لا تنفيذ لواجهة المشروع ولا مثال تم تشغيله. يتوقف عمدا قبل إرسال أمر جديد. حتى فرع safe يحتاج إلى التحقق من الهدف والإذن. اكتمال النقرة ووجود النص المطلوب في المستند ملاحظتان مختلفتان، ويجب عدم الخلط بينهما.

Headless لا يعزل الحسابات

يقول README إن الأفعال عبر المراجع تستخدم إمكانية الوصول افتراضيا بلا تحريك المؤشر أو أخذ التركيز. يتيح --headed الإدخال الفيزيائي. هذا وصف لطريقة التوصيل، وليس إذنا بإرسال رسالة أو دفع مال أو قراءة محتوى خاص.

تشرح صفحتا macOS وLinux حدود المنصات. يسرد README متطلبات macOS 13 أو أحدث، وWindows 10 1809 أو أحدث، وUbuntu 24.04 أو أحدث في Linux. يجب التحقق من النظام والأسطح المطلوبة فعليا. الانتقال الصامت إلى إدخال فيزيائي بعد رفض الفعل يغير شروط التشغيل.

افحص ما يغادر الجلسة

يحذر المستودع من احتواء لقطات البنية والحافظة والصور ومخرجات الأوامر وملفات التصحيح على بيانات خاصة. تحتاج المحاولة الأولى إلى مواد اصطناعية بلا حسابات شخصية مفتوحة. ويجب مراجعة السجلات ومكان حفظها وما يرسله الوكيل إلى نموذج أو خدمة أخرى. وجود ملف تنفيذي محلي لا يجيب وحده عن مسار البيانات.

المسارات الموثقة تشمل حزمة npm بملفات أصلية ومساعدات للمنصات، وأرشيفات إصدار مباشرة. يعرض خادم MCP عبر stdio الأوامر للمستدعي، فيوسع الأفعال الممكنة. تعليمات التثبيت تشرح الآلية، لا موافقة المالك على كل أثر.

ما الذي سأطلبه قبل الاعتماد؟

سأطلب تعديلا واضحا لملف تجريبي مع نتيجة مرصودة، ورفضا عند التباس النافذة، ومشاهدة جديدة عند تقادم المرجع، وعدم تكرار كتابة بصورة عمياء عندما تكون حالة التوصيل مجهولة. يجب الاحتفاظ بالفشل مع النجاح وفحص محتوى التتبع قبل مشاركته. اهتمامي بالمشروع سببه الأسماء الدقيقة لهذه الحدود؛ التزام التطبيق المختار بها يبقى سؤال اختبار عملي.