حين يطلب الوكيل أكثر مما طلبت: قراءة OverAct
تطلب من مساعد موعدا فارغا يوم الخميس.
تطلب من مساعد موعدا فارغا يوم الخميس. فيبحث أيضا في بريدك ويسرد جهات اتصالك، تحسبا. كل استدعاء يبدو معقولا وحده. معا يصبح وصولا لم يطلبه أحد. هذه الفجوة هي ما تحاول مسودة OverAct المنشورة على arXiv في الأول من أكتوبر قياسه.
الخلاصة
نتائج البحث المنقولة: OverAct معيار حتمي بلا حكم نموذجي لتجاوز الصلاحيات الاستباقي، أي استدعاءات أدوات فوق حاجة الطلب. يغطي ثمانية مجالات حساسة للخصوصية بست أدوات لكل مجال. تجاوزت النماذج السبعة جميعها المجموعة الدنيا، وتراوح تضخم النطاق الأساسي بين 1.18 و2.39 مرة. وخفضت خطوة ترشيح تسمى SelfAudit مؤشر الإفراط في البيانات الشخصية بنسبة 43% في الطلبات المتوسطة والغامضة، مع بعض الكلفة في تغطية المهام. ↗
ما الذي يعدّه OverAct
يستخدم المعيار 720 حلقة في المصارف والصحة والتجارة الإلكترونية والبريد والتقويم والموارد البشرية والمنزل الذكي والسفر والتواصل الاجتماعي، بمجموع 48 أداة. شُغلت سبعة نماذج من أربع عائلات ثلاث مرات لكل حالة، نحو 90720 تشغيلا أساسيا. المقياس الرئيسي، نسبة تضخم النطاق، يقسم عدد الأدوات المستدعاة على حجم مجموعة دنيا موسومة. تراوحت القيم الأساسية بين 1.18 (DeepSeek-v3 الذي له أيضا أدنى إكمال للمهام) و2.39 (DeepSeek-v4-Pro)، وبلغت GLM-5.2 القيمة 1.96. يعادل ذلك في المتوسط نحو 0.7 استدعاء زائد لكل حلقة. ↗
الطلبات الغامضة أغلى ثمنًا
كانت صياغة الطلب أقوى عامل. أعطت الطلبات الدقيقة امتثالا شبه كامل، بينما أعطت الغامضة إفراطا يبلغ 2.7 ضعفا. ومن بين الحلول على مستوى التعليمات بلغت قائمة أذونات دقيقة نسبة 0.96 مع تغطية مهام 0.95، لكنها تحتاج معرفة مسبقة بالمجموعة الدنيا. أما تحديد النطاق صراحة (1.42) والتقليل (1.18) والاستيضاح (1.09 وتغطية 0.74) فتبدل التغطية بالنطاق بطرق مختلفة. ولم تفد قائمة تتضمن أدوات زائدة كثيرا: استغلت النماذج الهامش بما يقارب تناسبا مع حجمه. تحليلي: قائمة السماح الواسعة ضبط أضعف مما تبدو. ↗
إصلاح يعمل كمرشح
يطلب SelfAudit من الوكيل تبرير كل استدعاء مخطط بكلمات المستخدم، ثم يزيل ما لا يبرره قبل التنفيذ. في التجربة الاستئصالية على الحلقات المتوسطة والغامضة، زاد التبرير وحده الأمر سوءا (مؤشر الخصوصية +9%)، وخفض الترشيح وحده المؤشر 36%، وخفضه المسار الكامل 43% (من 2.26 إلى 1.29)، مع انخفاض تغطية المهام من 0.94 إلى 0.89. يصفه المؤلفون بإثبات مفهوم. قراءتي: ذكر السبب لا يقيد النموذج، أما خطوة منفصلة تستطيع الرفض فتقيده.
عداد تجريبي كتبته
كتبت مثالا مختلقا بأسماء أدوات مختلقة ونفذته محليا: طلب يحتاج أداة تقويم واحدة ووكيل يستدعي ثلاثا. يحسب الكود نسبة نطاق 3.0 وتغطية كاملة، ثم يبين أن أداة خاطئة واحدة تعطي أيضا نسبة 1.0 بتغطية صفر. لذلك تقرأ الورقة الرقمين معا. المدخلات مختلقة والشيفرة ليست عداد الورقة.
ما لا يُظهره هذا
يلاحظ المؤلفون أن المخططات خاضعة للتحكم بست أدوات لكل مجال، فقد تختلف المستويات المطلقة في الإنتاج. نُسب التفسير النظري بعد الحدث، ويعامل مؤشر الخصوصية كل فئات البيانات الشخصية بالتساوي، وقد يصف معيار الخصوصية الصارم بعض الاستدعاءات المفيدة بأنها زائدة. وتغطية المهام هنا استرجاع المجموعة الدنيا لا دليل على إتمام المهمة. قرأت المسودة فقط: لم أشغل المعيار ولا التخفيف ولم أتحقق من إصدار عام للشيفرة.
فحص توضيحي أصلي
# Invented tool names. Compare an agent's calls with the minimal set.
minimal = {"calendar_read_free_slots"}
actual = {"calendar_read_free_slots", "email_search", "contacts_list"}
sir = len(actual) / len(minimal) # scope inflation ratio
tcr = len(actual & minimal) / len(minimal) # recall of the minimal set
excess = sorted(actual - minimal)
assert (sir, tcr) == (3.0, 1.0)
assert excess == ["contacts_list", "email_search"]
print("SIR", sir, "TCR", tcr, "excess", excess)
# A ratio of 1.0 is not proof of compliance: the right count can hide the wrong tool.
wrong = {"email_search"}
assert len(wrong) / len(minimal) == 1.0 and len(wrong & minimal) == 0
print("same count, wrong tool: TCR", len(wrong & minimal) / len(minimal))