لماذا تفشل ذاكرة وكيل الذكاء الاصطناعي في المهام الطويلة

عندما يُطلب من وكيل ذكاء اصطناعي فتح جدول بيانات، واستخراج البيانات، وتحديث رسم بياني، وإرسال النتيجة عبر البريد الإلكتروني، فإن النهج النموذجي هو تغذيته بسجل متزايد من لقطات الشاشة، ونقرات الماوس، واستجابات النظام. مع امتداد المهمة عبر عشرات الخطوات، يتحول هذا السجل الخام إلى مستنقع. المعلومات الحيوية، مسار ملف، تعديل تم التحقق منه، رابط URL، تُدفن تحت محاولات فاشلة وملاحظات قديمة.

هذه هي المشكلة التي شرع باحثون من جامعة كاليفورنيا في سان دييغو ومختبر Aether AI في حلها باستخدام StructAgent، وهو إطار تبدو رؤيته المركزة متناقضة تقريبًا: لجعل الوكلاء أكثر موثوقية في المهام الطويلة، امنحهم سياقًا أقل. لكن السياق الذي يحتفظ به يجب أن يكون منظمًا، وتم التحقق منه، ومرتبطًا سببيًا بما يدفع المهمة فعليًا إلى الأمام.

في التجارب التي وردت في ورقة بحثية جديدة، قام StructAgent بتحسين معدل نجاح نموذج ذي 9 مليارات معامل من 27.0% إلى 46.9% على OSWorld-Verified، وهو معيار لاستخدام الكمبيوتر طويل الأمد. مع هيكل خلفي أقوى مكون من 27 مليار معامل، قفز من 31.6% إلى 62.2%. باستخدام نموذج MiniMax-M3، وصل إلى 78.9%، وهو رقم قياسي جديد للطرق مفتوحة المصدر على هذا المعيار.

يقتبس المؤلفون من Edsger Dijkstra: "الغرض من التجريد ليس أن يكون غامضًا، ولكن لإنشاء مستوى دلالي جديد يمكن للمرء أن يكون دقيقًا للغاية فيه." تقرأ الورقة كحجة موسعة لهذا المبدأ المطبق على تصميم الوكيل.

مشكلة السجل الخام

الوكلاء الرقميون الحاليون، سواء كانوا مدعومين بنماذج LLMs أو VLMs، يستهلكون عادةً سجل التفاعل كتسلسل مسطح: لقطات شاشة، أشجار إمكانية الوصول، مخرجات الإجراءات. على مدار العديد من الخطوات، ينمو هذا السياق ليشمل التعديلات الوسيطة، والمحاولات الفاشلة، والإنجازات الجزئية. ليس لدى الوكيل طريقة مبدئية لفصل ما يهم عما لا يهم.

يستبدل StructAgent هذا بحالة موحدة تحتوي على ثلاثة مكونات مكتوبة: المتطلبات الحالية، والقيم المفيدة (مسارات الملفات، عناوين URL، البيانات المستخرجة)، والأدلة التي تم التحقق منها. بدلاً من استنتاج التقدم من سجل متزايد، كل وحدة، مخطط، ممثل، مدقق، تقرأ وتكتب إلى هذه الحالة المشتركة. القاعدة الحاسمة هي أنه لا يمكن الالتزام بأي تقدم بدون قرار مدعوم من المدقق.

كيف يعمل

يدير الإطار حلقة. يقرأ المخطط الحالة الحالية ويختار هدفًا فرعيًا. يحاول الممثل هذا الهدف الفرعي في البيئة. يتحقق المدقق مما إذا كان قد تم إحراز تقدم صالح. فقط إذا وجد المدقق دليلاً، يتم تحديث الحالة. هذا أكثر صرامة من الأساليب التي يعلن فيها الممثل عن الإكمال بنفسه، أو حيث يتحقق حكم نهائي فقط من لقطة الشاشة النهائية.

يستخدم المدقق التحقيق المنظم: يمكنه التحقق من الملفات على القرص، ومخرجات الأوامر، وعناوين URL، وأشجار إمكانية الوصول، وليس فقط الشاشة. في مهمة متعددة التطبيقات، على سبيل المثال، قد يبدو أن الممثل يصدر صورة من مستند، لكن المدقق يمكنه التحقق من نظام الملفات بحثًا عن الملف الذي تم تصديره بالفعل. إذا كان الملف مفقودًا، يظل الهدف الفرعي معلقًا، مما يمنع الإكمال الخاطئ.

يمكّن هذا الانضباط العديد من القدرات: تحديد نقاط التفتيش للتقدم (الحالة نفسها هي نقطة استئناف)، واسترداد الفشل المستهدف (يشخص المدقق ما إذا كان الفشل ناتجًا عن دليل مفقود، أو متطلب متعارض، أو مانع بيئي)، والتنفيذ بمساعدة الأدوات (الإجراءات القابلة لإعادة الاستخدام التي لا تزال تتطلب التزامات مدعومة من المدقق).

الأرقام

تستخدم التجارب الخاضعة للرقابة على OSWorld-Verified ميزانية مكونة من 100 خطوة وخط أنابيب تسجيل مشترك. تظهر النتائج أن StructAgent يحسن كل هيكل خلفي تم اختباره، مع أكبر المكاسب في النماذج الأضعف. والمغزى هو أن الإطار يعوض عن قدرة النموذج المحدودة على استخراج الإشارة من السجل الخام.

تطبيقات Office (جداول البيانات، المستندات) تشهد أوضح التحسينات، ربما لأن هذه البيئات تكشف عن حالات وسيطة دائمة مثل قيم الخلايا ومحتويات الملفات. تظل المهام عبر التطبيقات هي الإعداد الأصعب. حتى مع أقوى هيكل خلفي، فإن الأداء في السيناريوهات متعددة التطبيقات يتخلف عن المجالات الأبسط. سطح دليل المدقق أقل موثوقية عبر حدود التطبيق.

الإطار يعمم إلى ما هو أبعد من بيئات سطح المكتب. في Minecraft، استبدل StructAgent مصادر أدلة سطح المكتب بفحوصات قائمة على المخزون. حقق متوسط معدل نجاح مرجح للمهمة بنسبة 76% عبر خمس طبقات أدوات، مقارنة بنسبة 59% لخط الأساس Optimus-1 المنشور. جاءت أكبر المكاسب على طبقات الحديد والذهبية، حيث سلاسل التبعية الطويلة تجعل تتبع الأهداف الفرعية التي تم التحقق منها مفيدًا بشكل خاص.

لماذا هذا مهم

يأتي StructAgent في وقت تدفع فيه صناعة الذكاء الاصطناعي بقوة نحو أنظمة وكيلة، نماذج يمكنها التصرف بشكل مستقل لفترات طويلة. لكن المعايير مثل OSWorld-Verified تظهر أنه حتى أفضل النماذج تفشل في المهام الطويلة. تؤطر الورقة المشكلة على أنها قضية تصميم وكيل، وليست مجرد قياس نموذج. يعيد نهجها صياغة التحقق من بوابة نهائية إلى آلية التزام مستمرة.

تحليل فشل مسارات الدرجة صفر يكشف حتى عن StructAgent نفسه. شكلت حالات فشل الممثل 33% من الحالات، لكن حالات فشل المخطط والمدقق شكلت 30% لكل منهما. لا تشرح أي وحدة منفردة جميع حالات الفشل، وهو ما يجادل المؤلفون بأنه يدعم الرؤية على مستوى الأنظمة: تتطلب الموثوقية طويلة الأمد تصميم أدلة أفضل، وتدريبًا أقوى للمدقق، ودعم تنفيذ على دراية بالمجال.

تظهر الورقة أيضًا أن التحقق المنظم يتفوق على التحقق البصري فقط. عندما اختلف المدققان المنظم والبصري، في 100 حالة وسيطة تمت مراجعتها يدويًا، كان المدقق المنظم صحيحًا بنسبة 63% من الوقت، مقارنة بـ 31% للمدقق البصري فقط. جاءت الميزة من الأدلة الكامنة: الملفات، ومخرجات الأوامر، وعناوين URL التي لا تظهر بشكل موثوق في لقطات الشاشة.

الأسئلة المفتوحة

مكاسب StructAgent هي الأكبر عندما تكشف البيئات عن حالة قابلة للتحقق: الملفات، عناوين URL، هياكل البيانات القابلة للوصول. في المجالات البصرية البحتة، بعض مهام المتصفح والتطبيقات كثيفة الصور، تتقلص الميزة. تشير الورقة إلى فحوصات أكثر ثراءً خاصة بالتطبيقات وتدريب المدقق كعنق الزجاجة التالي.

سؤال مفتوح آخر هو كيف يتوسع هذا النهج إلى مهام أطول أو إلى إعدادات متعددة الوكلاء. تم تصميم تجريد الحالة ليتم مشاركته عبر الوحدات، ولكن الورقة لا تختبر السيناريوهات متعددة الوكلاء. يلاحظ المؤلفون في استنتاجهم أن النموذج يمكن أن يمتد إلى وكلاء الويب، والوكلاء المجسدين، والتعاون متعدد الوكلاء، لكنهم يتركون التنفيذ كعمل مستقبلي.

كما أن StructAgent لا يهرب من تكلفة التحقق. كل استدعاء للمدقق يضيف زمن انتقال وحسابًا. بالنسبة لميزانية 100 خطوة المستخدمة في التجارب، هذا الحمل الزائد يمكن التحكم فيه، ولكن بالنسبة للمهام التي تعمل عبر آلاف الخطوات، يصبح المدقق نفسه عنق زجاجة.

مع ذلك، من الصعب تجاهل النتائج. إطار يرفع نموذجًا ذا 9 مليارات معامل من 27% إلى 47% على معيار صعب، دون توسيع النموذج، يشير إلى أن كيفية تتبع الوكيل لتقدمه قد تكون بنفس أهمية القدرة الخام للنموذج. الحجة الأساسية للورقة، وهي أن التنفيذ طويل الأمد يحتاج إلى بنية سببية للتقدم، وليس مجرد نافذة سياق أكبر، هي حجة من المرجح أن تتعامل معها الصناعة مع نمو المهام الوكيلة.

رمز وصفحة مشروع StructAgent متاحة للجمهور. أشار المؤلفون إلى أن التصميم المرتكز على الحالة لا يقتصر على مهام سطح المكتب، بل هو نموذج عام لصنع وكلاء يمكنهم تتبع ما أنجزوه وما لم ينجزوه بأمانة.