تدقيق جديد يكشف أن معظم ادعاءات المخاطر من رؤوس التعلم المعزز التوزيعي خاطئة

أصبح التعلم المعزز التوزيعي نموذجًا مهيمنًا في الذكاء الاصطناعي الحديث. من خلال استبدال عائد متوقع واحد بتوزيع احتمالي كامل على المكافآت المستقبلية، مكنت هذه الطرق بعضًا من أكثر النتائج شهرة في وكلاء الألعاب، وترسخ الآن نظرية كتابية متنامية. لكن دراسة جديدة صارمة من الباحث هاري برادساد تطرح سؤالًا قاسى القليلون بشكل مباشر: عندما يبلغ وكيل توزيعي مُدرّب أن إجراءين يختلفان في المخاطرة، هل هذا التقرير صحيح بالفعل؟

الجواب، عبر سبع مجموعات مختلفة من الخوارزميات والألعاب وآلاف الحالات المُدققة، هو أنه ليس كذلك عادةً. تقدم الورقة، التي نُشرت كمسودة أولية و<منسوخ slug="distributional-rl-toolkit-release">صدرت مع مجموعة أدوات تدقيق كاملة، ما يسميه مؤلفها "تشخيصًا يجب أن يسبق أي علاج" لخلل كان مشتبهًا به لسنوات ولكن لم يُحدد كميًا أبدًا على مستوى القرار.

مقياس التدقيق: عزل ما يهم

المساهمة التقنية المركزية لبرادساد هي مقياس تدقيق يسمى فجوة فاسرشتاين الزائدة، ويُرمز لها بـ Δ_x(s). بالنسبة للإجراءين اللذين يصنفهما الوكيل الأعلى من حيث المتوسط في حالة معينة، يقيس المقياس مسافة فاسرشتاين-1 بين توزيعي عائدهما مطروحًا منها الفرق المطلق في متوسطيهما. عندما تكون Δ_x(s) صفرًا، فإن أحد الإجراءات يهيمن على الآخر بشكل عشوائي من الدرجة الأولى، وتصنفهما جميع دوال المخاطر الرتيبة بشكل متطابق، وستكون السياسة الحساسة للمخاطر لن تحيد أبدًا عن السياسة الجشعة للمتوسط. عندما تكون Δ_x(s) موجبة، فإن الوكيل يدعي وجود مقايضة حقيقية للمخاطرة: لا يوجد إجراء أكثر أمانًا في كل شريحة كمومية، وقد يختار المستخدم بعقلانية بناءً على النفور من الذيل.

"يعزل المقياس بالضبط الادعاءات التي تحمل مضمونًا قراريًا،" يكتب برادساد. "إنه يتجاهل الأخطاء التي يتشاركها كلا الإجراءين، فالتدقيق هو ادعاءات المخاطرة النسبية، النوع الذي يتم العمل به."

يقترن هذا الفحص بأداة إحصائية تتضمن فرضيات العدم القائمة على التبديل، واختبارات التفنيد القائمة على bootstrap، والتحكم في معدل الاكتشاف الخاطئ. بدون هذه الأداة، تلاحظ الورقة أن التدقيق نفسه يمكن أن ينتج استنتاجات خاطئة، ويتم توثيق وقياس كميتين خفيتين من مخاطر التقييم القائم على إعادة التشغيل.

عبر ثلاث خوارزميات، نفس التوقيع

درّب برادساد وكلاء QR-DQN و C51 و IQN على ثلاث ألعاب من MinAtar: Breakout و Seaquest و Asterix، مع بذور متعددة لكل خوارزمية ليصبح المجموع 33 تشغيلًا. النتائج متسقة بشكل لافت:

• 66-95% من أقوى ادعاءات المقايضات (أفضل 2% من تصنيف Δ_x الخاص بكل وكيل) يتم دحضها بثقة 95%.
• لا يوجد ادعاء واحد تقريبًا قابل للتأكيد، صفر من 735 حالة QR-DQN نجت من الاختبار المصحح بمعدل الاكتشاف الخاطئ عبر جميع الألعاب الثلاث.
• الارتباط بين الفائض المُتعلم وفائض الحقيقة الأساسية ظل قريبًا من الصفر عبر جميع البذور والألعاب (بيرسون r ≈ 0.0).
• وضع أقوى ادعاءات الوكيل لا يمكن تمييزه إحصائيًا عن خلط عشوائي أعمى للحقيقة.

"تضع الرؤوس أقوى ادعاءاتها ليس أفضل من الصدفة العمياء للحقيقة،" يخلص برادساد. القطعة الأثرية ليست عرضًا للوكلاء غير المُدرّبين بشكل كافٍ: تظهر مكتملة التكوين بحلول 500,000 خطوة تدريب، وتنمو مع قوة الادعاء التي قد يعتمد عليها الممارس، ولا ترتبط بالنتيجة النهائية، وتتكرر على وكيل Atari شبه حديث مُدرّب مسبقًا.

عواقب على مستوى القرار: من مفيد إلى مضاد للتوقع

لاختبار ما إذا كان التفنيد النظري يُترجم إلى ضرر عملي، قارن برادساد ثلاثة مختارين للإجراء الأكثر أمانًا على الحالات التي صنفها الوكلاء على أنها الأكثر خطورة: تصنيف CVaR الخاص بالرأس نفسه، وخط أساس جشع للمتوسط يتجاهل المخاطرة، والحقيقة الأساسية. تعتمد النتيجة على البيئة بطريقة لا تترك قاعدة موثوقة للممارسين.

في Breakout، كان رأس QR-DQN مفيدًا حقًا، حيث اختار الإجراء الأكثر أمانًا بنسبة 81% مقابل 44% للجشع للمتوسط، مع تقليل الندم من 1.36 إلى 0.20. في Seaquest، مع ذلك، كان الرأس مضادًا للتوقع: اختار الإجراء الأكثر أمانًا حقًا بنسبة 34% فقط (أقل من الصدفة، p = 0.045)، مما ضاعف الندم تقريبًا مقارنة بتجاهل المخاطرة تمامًا. في Asterix، كان بمثابة رمية عملة.

"لا يمكن للممارس معرفة أي نظام ينتج،" يكتب برادساد. "النصيحة التي تكون مفيدة أحيانًا ومقلوبة أحيانًا أخرى أصعب في الاستخدام من النصيحة غير المفيدة بشكل موحد." كان أداء C51 أسوأ، حيث هزمه خط الأساس الجشع للمتوسط في جميع الألعاب الثلاث.

الإصلاحات تفشل في استعادة ادعاءات المخاطرة القابلة للاستخدام

تختبر الورقة ثلاث مجموعات من الإصلاحات التي اقترحتها الأدبيات. تدريب الوكيل ليكون جشعًا لـ CVaR أثناء التعلم (تحسين الذيل) ترك الادعاءات المفرطة دون تغيير. مجموعة من خمسة أعضاء خففت لكنها لم تعاير أفضل الادعاءات. وإعادة المعايرة عبر خريطة متساوية التوتر، والتي أنقذت عناصر التحكم الإيجابية بشكل مثالي، نجحت في التدقيق فقط عن طريق تحويل أفضل الادعاءات إلى ضوضاء، مؤكدة عدم وجود مقايضات حقيقية.

"الرأس ليس غير معاير بل غير مفيد،" يكتب برادساد. "معلومات مفقودة، ليس خطأ مقياسيًا قابلاً للإصلاح." أكدت عناصر التحكم في التقطير أن البنية يمكنها ملاءمة التوزيعات الحقيقية عندما يتم الإشراف عليها مباشرة بأهداف الحقيقة الأساسية، مع عزل العجز إلى عملية التدريب القائمة على التمهيد بدلاً من سعة الشبكة.

مأزقان يمكن أن يخدعا الباحثين

توثق الورقة مأزقين منهجيين في التقييم القائم على إعادة التشغيل واجههما مؤلفها أثناء تطوير التدقيق. الأول، استنساخ مولد الأرقام العشوائية، يحدث عندما تؤدي نسخة عميقة من البيئة إلى استنساخ مولدها العشوائي الداخلي، مما يتسبب في إعادة كل انتشار "عشوائي" لتشغيل مستقبل متطابق. الفشل صامت، معقول من حيث الاتجاه، وينجو بسهولة من مراجعة الكود. الثاني، أرضية ضوضاء فاسرشتاين التجريبية، يعني أنه حتى عينتين من نفس التوزيع تنتج فائضًا موجبًا مقاسًا يتحلل مثل n^−1/2. يمكن لعتبة ثابتة ساذجة "تأكيد" ثلثي الادعاءات التي هي ضوضاء خالصة.

أنتج كلا المأزقين تدقيقات مقنعة ولكن خاطئة قبل التصميم النهائي. "يجب معايرة التحقق من صحة الادعاءات التوزيعية مقابل فرضية عدم لكل حالة بحجم العينة المنشور،" يحذر برادساد.

ما تعنيه النتيجة للمجال

تُستخدم رؤوس التعلم المعزز التوزيعي بشكل متزايد لثلاثة أغراض عملية: تصور توزيعات العوائد لتفسير سلوك الوكيل، وتحديد عتباتها لإنتاج سياسات حساسة للمخاطر عبر CVaR ودوال أخرى، ومراقبتها كإشارات سلامة في القيادة الذاتية وخطوط أنابيب التعلم المعزز الآمن. تفترض جميع هذه الاستخدامات أن حيث يختلف التوزيع المُتعلم لإجراء عن آخر في الشكل، فإن البيئة تحتوي بالفعل على هيكل المخاطرة هذا.

"قراءات القيمة الظاهرية للرؤوس التوزيعية هي الأقل موثوقية في الحالات التي من المرجح أن يتم استشارتهم فيها،" يخلص برادساد، "ويجب التحقق من صحتها مقابل الحقيقة الأساسية قبل الوثوق بها."

بالنسبة لمجموعة العمل المتزايدة التي تبني مقدرات عدم اليقين والمجموعات وطبقات المعايرة <منسوخ slug="distributional-rl-uncertainty-estimation">حول الرؤوس التوزيعية الخام، يوفر التدقيق معيارًا للقياس وخط أساس واقعيًا: الرأس غير المفيد لا يعطي لإصلاحات ما بعد المعالجة أي إشارة للعمل بها. تنشر الورقة مجموعة أدوات التدقيق الكاملة الخاصة بها ومعيارًا ملموسًا للطرق المستقبلية: الرأس الناجح في التدقيق يؤكد أفضل ادعاءاته.