الذاكرة المشتركة سيف ذو حدين: توسيع خوارزميات الممثل-الناقد إلى ما بعد خمسة عوامل يُظهر عوائد متناقصة

ورقة منشورة على arXiv في 21 يوليو 2026 تتناول فجوة في أبحاث التعلم المعزز: ماذا يحدث عندما تُدمج خوارزميات الممثل-الناقد المصممة لمهام الإجراءات المعلمية أحادية العامل في إعدادات متعددة العوامل دون السقالات المعتادة للتدريب المركزي؟

المؤلف كليمنت نيريندا يُوسع ثلاثة خوارزميات أحادية العامل راسخة، وهي GAC و SAC و TQC، إلى إصدارات متعددة العوامل ذات خبرة مشتركة: MAGAC و MASAC و MATQC. بدلاً من نموذج التدريب المركزي والتنفيذ اللامركزي (CTDE) الذي يهيمن على التعلم المعزز متعدد العوامل، يحتفظ كل عامل بشبكات سياسته وقيمته الخاصة ولكنه يستفيد من مخزن تكرار مشترك واحد.

الفكرة عملية: دع العوامل تتعلم بشكل مستقل مع تجميع الخبرة، مما يقلل من تكاليف التنسيق التي يتطلبها CTDE غالبًا. ومع ذلك، فإن النتائج غير متساوية عبر الخوارزميات.

GAC تقفز; SAC و TQC تتوقفان

على معياري Platform-v0 و Goal-v0، تفوقت MAGAC باستمرار على نظيرتها أحادية العامل. كانت الفجوة ذات دلالة إحصائية عبر تكوينات ثلاثة وخمسة وعشرة عوامل، مع دعم اختبارات ANOVA أحادية الاتجاه واختبارات Tukey HSD بعد المقارنة. بالنسبة لـ GAC، كانت مشاركة مخزن التكرار فوزًا واضحًا.

أظهرت MASAC و MATQC تحسينات أكثر تواضعًا. على الرغم من أن إصداراتهما متعددة العوامل تغلبت على خطوط الأساس أحادية العامل في متوسط عائد التقييم، إلا أن الفروق كانت ضيقة بما يكفي لوصف الورقة لها بأنها متواضعة نسبيًا. أعطى مخزن التكرار المشترك لـ SAC و TQC مساحة أقل للاستفادة، ربما لأن كلتا الخوارزميتين تتضمنان آليات مدمجة للاستكشاف والاستقرار تترك فرصًا أقل للتحسينات التي تقدمها الهياكل متعددة العوامل.

جدار الخمسة عوامل

اختبرت الدراسة كل خوارزمية بثلاثة وخمسة وعشرة عوامل. كان النمط ثابتًا: القفزة من ثلاثة إلى خمسة عوامل جلبت مكاسب قابلة للقياس. القفزة من خمسة إلى عشرة لم تفعل. بالكاد تحرك العوامل الإضافية عائد التقييم بينما ارتفع وقت التدريب بشكل كبير، خاصة بالنسبة لـ MAGAC، التي كانت الأسوأ من حيث التكلفة الحاسوبية.

تلك النتيجة مهمة لأي شخص يصمم أنظمة متعددة العوامل في العالم الحقيقي بميزانيات GPU محدودة. لا تدعي الورقة وجود عتبة عالمية، لكن البيانات تشير إلى أنه بعد خمسة عوامل، تنفق هياكل الممثل-الناقد ذات الخبرة المشتركة موارد حاسوبية على التكرار بدلاً من التعلم. المفاضلة بين الأداء والكفاءة حادة.

يشير نيريندا إلى أن المعايير المستخدمة، Platform-v0 و Goal-v0، هي بيئات إجراءات معلمية منفصلة. تتطلب من العوامل اختيار نوع الإجراء والمعلمات المستمرة، مما يجعلها أقرب إلى مهام التحكم في الروبوتات من نوع ألعاب اللوحة أو ألعاب الـ Atari. قد يتغير سقف قابلية التوسع في بيئات مختلفة، لكن الورقة تقدم ادعاءً تجريبيًا واضحًا: بالنسبة لهذه العائلة من المهام، خمسة عوامل هي الحد الأعلى العملي.

أين تعمل الخبرة المشتركة، وأين لا تعمل

الاختيار المعماري يستحق التحليل. تتجنب الورقة عمدًا CTDE، الذي يتطلب ناقدًا مركزيًا يرى جميع إجراءات العوامل أثناء التدريب. بدلاً من ذلك، يعمل ناقد كل عامل من ملاحظاته وإجراءاته الخاصة، مع مخزن التكرار باعتباره المورد المشترك الوحيد. هذا يحافظ على بساطة التدريب ولكنه يعني أيضًا أن العوامل لا تستطيع التنسيق ضمنيًا من خلال دالة قيمة مشتركة. تشير النتائج إلى أنه بالنسبة لبعض الخوارزميات (SAC و TQC)، تفوق خسارة ذلك التنسيق فائدة الخبرة المجمعة، بينما بالنسبة لـ GAC، يهيمن تأثير التجميع.

جدول يلخص النتائج المقارنة عبر التكوينات قد يوضح النمط، لكن أشكال الورقة الخاصة، بناءً على عشر عمليات تشغيل مستقلة لكل تكوين، تظهر تباينًا ثابتًا تعالج منه الاختبارات الإحصائية بشكل مباشر. النقطة الرئيسية هي أن اختيار الخوارزمية يهم أكثر من عدد العوامل بمجرد تجاوز عتبة دنيا.

بالنسبة للباحثين الذين يبنون أنظمة تعلم معزز متعددة العوامل في مجال الروبوتات أو المحاكاة أو التحكم المستمر، فإن التطبيق العملي مباشر: ابدأ بثلاثة عوامل، اختبر خمسة، ولا تفترض أن عشرة ستساعد. الموارد الحاسوبية الإضافية من الأفضل إنفاقها على ضبط العمود الفقري أحادي العامل.