وكلاء سطح المكتب الذكاء الاصطناعي يفشلون في اختبار الترتيب القبلي-البعدي بنسبة 35%

يمكن لوكلاء استخدام الحاسوب الذين يتنقلون في واجهات سطح المكتب إكمال سير عمل معقدة، ولكن معيار تشخيصي جديد يُظهر أنهم يفعلون ذلك غالبًا دون فهم حقيقي لما إذا كانت أفعالهم قد أنتجت التغيير المتوقع على الشاشة. في مهمة الترتيب لمعيار Desktop-Delta Bench (DDB)، حقق أفضل نموذج معدل تطابق تام بنسبة 65.1% فقط على التسلسلات بدون خداع و65.7% عند وجود إطار خادع، مما يعني فشله بنحو 35% من الوقت.

تم تصميم DDB، الموصوف في ورقة بحثية من يوليو 2026، لسد فجوة في التقييمات الحالية. تقيس المعايير الحالية نجاح المهمة النهائية أو التعرف على الإطار الواحد، لكن لا يختبر أي منها ما إذا كان الوكيل يمكنه إعادة بناء التحول السببي بين الشاشات. هذا مهم لأن الاستدلال والإدخال والعرض والتقاط لقطة الشاشة غير متزامنة: قد تكون الملاحظة التالية متأخرة أو محجوبة أو غير مرتبطة، والوكيل الذي يقرأ إطارًا قديمًا على أنه تقدم يمكنه نقل الأخطاء إلى التخطيط اللاحق.

ثلاثة أنماط فشل

يستهدف المعيار ثلاثة أبعاد للفشل: التحقق من الحالة (هل غيّر الإجراء الحالة فعليًا؟)، تتبع المصدر (أي عنصر تسبب في التغيير؟)، والتحكم المدرك للسياق (هل كان ينبغي اتخاذ الإجراء على الإطلاق؟). لاستقصاء هذه الأبعاد، أنشأ المؤلفون 2,013 حالة تم التحقق منها بشريًا من مسارات جديدة لنظام لينكس متعددة التطبيقات عبر حوالي 15 تطبيقًا و50 مجالًا للمهام. تغطي مهمتان متكاملتان 463 حالة ترتيب زمني ثلاثي الإطارات، 105 منها تتضمن خداعًا عبر المسارات، و1,550 زوجًا قبلي-بعدي موسومة بخمس عائلات إجراءات وحمولاتها.

الترتيب لا يزال غير مشبع

تم اختبار ثماني عائلات نماذج عبر 32 إعدادًا للترتيب و16 إعدادًا لإجراء واحد. تظهر نتائج الترتيب فجوة ثابتة. كان التطابق التام لأفضل نموذج على الثلاثيات بدون خداع 65.1%؛ على الثلاثيات الخادعة كان 65.7%. ومن المثير للاهتمام أن توفير سياق المهمة عزز تحديد الخداع بمقدار 6.9 نقطة مئوية لكنه أضر بالتطابق التام بدون خداع بمقدار 2.2 نقطة. كشف تحليل الأخطاء أن النماذج نسخت بشكل منتظم الترتيب المقدم A-B-C بدلاً من استنتاج التسلسل الصحيح، وهي علامة على أنها تعتمد على الأنماط السطحية بدلاً من الفهم السببي.

التعرف على الإجراءات أسهل من استنتاج الإجراءات

اتبعت نتائج الإجراء الواحد نمطًا مختلفًا. إثبت أن تحديد عائلة الإجراء أصعب من تحديد موقع الإجراء. وصل اكتشاف النقرات إلى درجة F1 عالية بلغت 0.96، لكن اكتشاف السحب تأخر عند 0.76. ومع ذلك، بمجرد التعرف على السحب، كان تحديد موقعه دقيقًا بشكل عام. يشير هذا إلى أن النماذج الحالية تتعامل مع الإجراءات المنفصلة والمحلية مثل النقرات بشكل أفضل بكثير من الإجراءات المستمرة والمكانية مثل السحبات.

التحقق باعتباره عنق الزجاجة الجديد

تعكس نتائج DDB اتجاهًا أوسع في أبحاث الذكاء الاصطناعي: التوليد يفوق التحقق. ورقة بحثية من يونيو 2026 بعنوان 'The Verification Horizon' جادلت بأنه مع زيادة قدرة النماذج على إنتاج حلول مرشحة، يصبح التحقق منها مشكلة أصعب. يظهر DDB أن نفس التوتر ينطبق على وكلاء سطح المكتب: توليد نقرة سهل؛ التحقق من أنها أنتجت تغيير الشاشة المقصود ليس كذلك. وجد عمل سابق يقارن بين وكلاء GUI وCLI (نُشر قبل شهر من DDB) أن الوكلاء المعتمدين على الشاشة فقط يواجهون اختناقات في التنفيذ على سير عمل طويلة الأفق. يشير DDB إلى أن جزءًا من هذا الاختناق قد ينبع من ضعف فهم التحولات.

بالنسبة للأتمتة المؤسسية، تحمل هذه النقطة العمياء مخاطر حقيقية. الوكيل الذي لا يستطيع التمييز بشكل موثوق بين تحول حقيقي وإطار قديم قد يتخطى خطوة، أو يكرر عملية، أو يستمر بصمت بمعلومات خاطئة. يوفر DDB طريقة مستهدفة لقياس وتحسين هذه القدرة قبل أن يُؤتمن الوكلاء على مهام عالية المخاطر.

من خلال استكمال معايير المهام النهائية بطبقة تشخيصية على مستوى الخطوات، يملأ DDB فجوة تقييمية بين الإدراك والتخطيط. يجادل المؤلفون بأن تحسين موثوقية وكلاء سطح المكتب سيتطلب آليات أفضل للكشف عن وقت تعديل الإجراء للواجهة بالفعل، وهو شرط مسبق للتعافي الآمن والتخطيط طويل الأجل.