ست كلمات قد تعيد تشكيل كيفية استكشاف وكلاء الذكاء الاصطناعي والبقاء آمنين: تعطيل، تحقق، وسيط

لسنوات، واجه مجال وكلاء الذكاء الاصطناعي المستقلين مقايضة مزعجة: اتركهم يتجولون بحرية وسيكسرون الأشياء؛ قيدهم ولن يجدوا أي شيء مثير للاهتمام. ورقة بحثية جديدة بقلم ليو تينغجياو، بعنوان "مجموعات الوكيل غير المتجانسة للاستكشاف الآمن مفتوح النهاية مع ذاكرة القيد في وقت التشغيل"، ترمي بمفتاح ربط متعمد في تلك الثنائية.

بدلاً من مطالبة نموذج واحد بالتوفيق بين كل من الإبداع والحذر، تقترح الورقة مجموعة وكلاء ثلاثية الأدوار تفصل الاهتمامات. يُكلف المُعطل بتوليد مقترحات غير تقليدية وعالية الإنتروبيا، وهو نوع الفرضيات خارج التوزيع (OOD) التي كان الوكيل المنفرد عادةً يرقبها ذاتياً. يعمل المُتحقق عند بوابة استدعاء الأداة، حيث يجري فحوصات حتمية تمنع بشكل صارم الإجراءات غير الآمنة قبل تنفيذها. يسترجع الوسيط تشبيهات بعيدة لكنها ذات صلة من قواعد المعرفة الخارجية، باستخدام تقنية يسميها ليو استرجاع التباين الجديد (CNR) لتجنب فخ التجانس الذي يبقي أنظمة RAG القياسية مقيدة بالماضي التحادثي.

النتائج، التي تم اختبارها في بيئة اختبار مكانية-دلالية مخصصة عبر 20 بذرة، مذهلة. اكتشف الفريق الكامل منطقتين علميتين نائيتين مستهدفتين، منطقة التخليق البيولوجي الكمي ومنطقة الطبقة الأحادية الكهروحرارية، بنسبة 95% و100% على التوالي. في المقابل، تمكنت مجموعة مناظرة متجانسة متعددة الوكلاء (على غرار AutoGen) من تحقيق معدل اكتشاف بنسبة 10% فقط لنفس الأهداف النائية، مع تكاليف رمز أعلى بنسبة 68%.

آلية الندبة: الإخفاقات كأصول قابلة لإعادة الاستخدام

قد تكون المساهمة الأكثر تميزاً في الورقة هي نهجها تجاه الفشل. بدلاً من تجاهل مسارات التنفيذ التي تنتهك حدود السلامة، يقوم النظام بتجميعها في رقع قيود موقعة تسمى الندوب. يستخدم التجميع بحث شجرة مونت كارلو (MCTS) عبر شجرة بناء جملة مجردة مقيدة بالقواعد النحوية لإنتاج قواعد DSL مضغوطة تمنع استدعاءات الأدوات المخالفة في عمليات التشغيل المستقبلية. يتم توقيع الندوب بشكل مشفر بمفتاح Ed25519 الخاص بالمشغل، مما يمنع الحقن الخبيث في الإعدادات اللامركزية، ويتم توريثها من قبل مجموعات النسل بتكلفة تدريب صفرية.

يوضح ليو أن آلية التخزين المؤقت هذه ليست بوابة السلامة الأساسية، فهذا الدور ينتمي إلى المُتحقق المباشر، لكنها تحسن اقتصاد الرموز بشكل كبير. أدى إزالة ذاكرة التخزين المؤقت للندوب إلى زيادة تكلفة الرمز لكل اكتشاف ناجح بنسبة 15.1% (من 72,180 إلى 83,060 رمزاً)، حيث اقترح الوكلاء بشكل متكرر أوامر معروفة خارج النطاق وأطلقوا فحوصات المُتحقق الزائدة عن الحاجة. عبر 100 جيل، انخفضت تصادمات السلامة الزائدة عن الحاجة من 10.2 لكل تشغيل إلى الصفر تقريباً بحلول الجيل الخامس.

يكتب ليو: "تعمل الندوب كذاكرة تخزين مؤقت للقيود لتحسين الكفاءة بدلاً من كونها بوابة السلامة الأساسية". الفرق حاسم: النظام لا يعتمد أبداً على قواعد ثابتة للسلامة؛ بل يضع طبقة من الذاكرة الديناميكية المجمعة فوق حارس بوابة مباشر.

CNR: كسر قفل التجانس

تستخدم عقدة الوسيط استرجاع التباين الجديد، الذي يقارنه ليو مع الحد الأقصى للصلة الهامشية التقليدية (MMR). بينما تنوع MMR ضمن قائمة مستندات ثابتة، فإن CNR مشروطة بالهدف: فهي تعظم التشابه مع هدف التحقق من المهمة بينما تعاقب التشابه مع تاريخ الحوار متعدد الوكلاء بأكمله. هذا القيد المضاد للتجانس يجبر الوسيط على استيراد المعرفة من مجالات بعيدة دلالياً.

يكون التأثير أكثر وضوحاً في معدل اكتشاف الهدف 1. بدون الوسيط، وجد الفريق منطقة التخليق البيولوجي الكمي بنسبة 0% بالضبط من الوقت، الهدف كان يقع خارج "نطاق المشي الطبيعي" للوكلاء. مع CNR، قفز المعدل إلى 95%. في تجربة استرجاع في العالم الحقيقي باستخدام 10,000 مطبوعة علمية في علم الأحياء وعلوم المواد، حقق CNR استدعاء خارج المجال بنسبة 89.4% مقابل 24.1% لـ RAG الكثيفة القياسية. قام ثلاثة مراجعين دكتوراه بتقييم المستندات المسترجعة بواسطة CNR عند 4.5/5 للحداثة الإبداعية والفائدة، مقارنة بـ 2.3/5 لـ RAG القياسية.

السلامة بدون تعقيم

يعكس تصميم المُتحقق معايرة دقيقة لتجنب الحظر المفرط. في الاختبارات ضد 1,000 حلقة عدائية من معيار AgentHarm، حقق الفريق الكامل 0% انتهاكات منفذة، مقارنة بـ 11.5-19.2% لتكوينات الحراسة القائمة على المطالبات فقط مثل ReAct و AutoGen. الأهم من ذلك، أن نجاح المهمة غير الضارة ظل مرتفعاً عند 88.5%، مع معدل حظر زائف بنسبة 4.8% فقط. على WebArena Lite، وهو معيار واقعي للتصفح على الويب، حقق الفريق معدل نجاح 78% (مقابل 58% لـ ReAct و 54% لـ AutoGen) في خطوات متوسطية أقل (11.5 مقابل 14.2-18.5).

تتناول الورقة أيضاً الفوضى الاتصالية التي تعاني منها أنظمة متعددة الوكلاء غير المقيدة. تستخدم درجة تخصيص الاتصال (CAS) سوفت ماكس مقيّد بدرجة حرارة لتخصيص عرض النطاق الترددي للرموز الصادرة بناءً على المكافآت الخاصة بالأدوار، مما يمنع الوكلاء منخفضي الفائدة من إطلاق "عواصف إذاعية محادثاتية". يؤكد الإزالة على الضرورة: تسبب إزالة خنق CAS في انخفاض معدلات اكتشاف الأهداف النائية إلى 25% وانفجار تكاليف الرموز إلى 163,520 لكل نجاح، أي أكثر من ضعف تكلفة الفريق الكامل البالغة 72,180.

ماذا يعني هذا للمجال

يجلس عمل ليو عند تقاطع عدة خيوط بحثية نشطة: التعاون متعدد الوكلاء (AutoGen، CAMEL، MetaGPT)، السلامة في وقت التشغيل (NeMo Guardrails، ToolEmu)، والاسترجاع المدرك للتنوع. لكن التوليف جديد. من خلال إضفاء الطابع الخارجي على المقايضة بين الاستكشاف والسلامة إلى أدوار منفصلة، ومن خلال معاملة الإخفاقات كقيود قابلة للتجميع بدلاً من الضوضاء، تقدم بنية الفريق مساراً حيث الإبداع والحذر ليسا لعبة صفرية.

الورقة صريحة بشأن قيودها. تم إجراء التقييمات في بيئة اختبار تجريبية ذات مساحات دلالية مسقطة، وفرضية النمو شبه الخطي لمجمع MCTS، رغم أنها مدعومة ببيانات تجريبية تصل إلى 500 فشل، تنتظر التحقق على نطاقات أكبر بكثير. خاصية رتابة السلامة تصمد فقط قبل الإلغاء، وآلية الإلغاء نفسها (إزالة الميثيل) موصوفة بشكل تخطيطي بدلاً من تقييم صارم.

مع ذلك، فإن النتائج مثيرة للاهتمام بما يكفي لتستحق الاهتمام من أي شخص يبني أنظمة وكيل مستقلة للاكتشاف العلمي، أو توليد الكود، أو أي مجال تكون فيه تكلفة الفشل عالية. قد تكون رؤية ليو المركزية، أنك لست بحاجة للاختيار بين وكيل مبدع وآخر آمن، إذا كنت على استعداد لإعطاء كل وظيفة لوكيل مختلف، هي الملخص المكون من ست كلمات الذي كان المجال يفتقده.