حل مكون من كلمتين لمشكلة التخريب الذاتي في التعلم التعزيزي

أصبح التعلم التعزيزي من التغذية الراجعة البشرية (RLHF) الطريقة القياسية لمواءمة نماذج اللغة الكبيرة مع التفضيلات البشرية. ولكن مع تدريب النماذج على مجموعة متزايدة الاتساع من الأهداف، اتباع التعليمات، أسلوب الكتابة، الدقة الواقعية، صحة الكود، تصبح إشارات المكافأة التي تدفع التعلم فوضوية وغالباً متناقضة. تقترح ورقة بحثية جديدة من فريق بحث دولي حلاً يعالج هذه اللااستقرارات مباشرة. أفق التحقق: لماذا أصبح التحقق من وكلاء البرمجة أصعب من…

مشكلة المكافآت المتعددة

في التعلم التعزيزي متعدد المهام، ينتج كل تحفيز متجه المكافأة الخاص به، يجمع بين أحكام ثنائية (هل اتبع النموذج التعليمات؟)، درجات جزئية (ما مدى قواعدية الناتج؟)، ومقاييس مستمرة (تشابه التضمين). غالباً ما تعمل هذه المكافآت على نطاقات وتوزيعات مختلفة بشكل كبير. والأسوأ من ذلك، يمكن أن تكون أبعاد المكافأة مترابطة: النموذج الذي يكتب جيداً قد يحصل أيضاً على درجة أعلى في اتباع التعليمات ببساطة لأن اللغة المتماسكة تتتبع إكمال المهمة. طرق تقدير الميزة القياسية، التي تحسب قيمة قياسية واحدة من المجاميع الموزونة، تضخم الضوضاء من كل من التباين غير المتجانس والتكرار. OPID يمنح وكلاء اللغة إشارة مكافأة كثيفة بما يكفي…

"الصعوبة المركزية هي أن التحويل العددي الساذج للمكافآت قبل حساب الميزة ينتج تحديثات تدرج غير مستقرة،" يكتب المؤلفون. "هذا حاد بشكل خاص عندما يتغير توزيع المكافأة عبر التحفيزات ومراحل التدريب."

يحدد الباحثون وضعين للفشل: تفاوت الحجم (مكافأة جزئية تتراوح من 0-1 مقترنة بمكافأة مستمرة تتراوح من 0-100) وتكرار الارتباط (بعدين للمكافأة يشفران معلومات متداخلة، مما يؤدي إلى خطوات تدرج مفرطة الثقة).

هندسة RDPO ذات المرحلتين

تحسين السياسة غير المرتبطة بالمكافأة (RDPO) يعالج كلتا المشكلتين بالتسلسل. تطبق المرحلة الأولى تطبيع الكم المدرك للحجم (MAQ)، الذي يفرز جميع المكافآت لبعد معين عبر الدفعة، ويثبتها عند وسيطها، ويقيسها حسب المدى الربيعي. على عكس تطبيع الكم القياسي، يحافظ MAQ على معلومات الحجم من خلال تتبع الوسيط كمعامل مكتسب، مما يسمح للنموذج بالتمييز بين المكافأة العالية باستمرار وتلك المرتفعة بشكل متقطع.

تطبق المرحلة الثانية تبييض ماهالانوبيس داخل كل فضاء فرعي نشط للمكافأة. يقوم الباحثون بتجميع أبعاد المكافأة النشطة لتحفيز معين، مجموعة فرعية مناسبة للمهمة من متجه المكافأة الكامل، وحساب مسافة ماهالانوبيس، التي تزيل الارتباط بشكل فعال بين الأبعاد قبل التجميع في ميزة عددية. هذا يمنع الإشارات المتكررة من أن تُحسب مرتين في تحديث التدرج.

"خطوة ماهالانوبيس حاسمة لأنها تعمل كتصحيح لكل دفعة،" يشرح المؤلفون. "ارتباطات المكافأة ليست ثابتة، إنها تتحول مع تغير سياسة النموذج. إزالة الارتباط عبر الإنترنت تلتقط هذه الديناميكية."

النتائج على LongCat-Flash

قام الباحثون بدمج RDPO في خط أنابيب ما بعد التدريب لنموذج LongCat-Flash، وهو نموذج سياق طويل موجود. مقارنة بتقدير الميزة القياسي، حسن RDPO اتباع التعليمات بنسبة 8.3 نقطة مئوية في مجموعة فرعية لاتباع التعليمات من MT-Bench، ورفع درجات جودة الكتابة بمقدار 6.1 نقطة في مجموعة تقييم كتابة خاصة، وقلل الحساسية لإصدارات التحفيز الصعبة بنسبة 12% في الاختبارات العدائية. في معايير التفكير القياسية (GSM8K, MATH) وتقييمات البرمجة (HumanEval, MBPP)، ظل الأداء ضمن الضوضاء الإحصائية للخط الأساسي، دون أي تدهور من خطوة إزالة الارتباط. IFBench: المعيار الجديد لاختبار اتباع الذكاء الاصطناعي…

أظهرت دراسة الاجتثاث أن MAQ وتبييض ماهالانوبيس مفيدان بشكل فردي: استعاد MAQ وحده 60% من إجمالي الكسب، وأضافت خطوة التبييض الباقي. أدى إزالة كليهما إلى انخفاض الأداء إلى خط الأساس الأصلي.

آثار أوسع

تأتي الورقة في وقت تواجه فيه خطوط أنابيب RLHF تدقيقاً متزايداً، مع نقاشات حول اختراق المكافأة، انهيار نموذج المكافأة، وهشاشة التحسين متعدد الأهداف. يقدم RDPO إضافة خفيفة نسبياً: لا يتطلب إعادة تدريب نموذج المكافأة، فقط تعديل حساب الميزة، مما يجعله مجدياً لخطوط أنابيب RLHF الحالية. how-local-llms-like-gemma-and-qwen-are-taming-open-source-repository-triage-at-scale

"جمال النهج هو أنه يعالج معالجة المكافأة كمشكلة تحسين من الدرجة الأولى بدلاً من مجرد خطوة معالجة مسبقة،" تقول الدكتورة سارة تشين، باحثة في التعلم التعزيزي غير مشاركة في الدراسة. "العديد من المختبرات ببساطة تطبيع المكافآت إلى متوسط صفر، تباين وحدة، وتأمل الأفضل. RDPO يصمم بشكل صريح للحالتين الأصعب."

ما لا يزال دون حل

لا تعالج الورقة دقة نموذج المكافأة نفسه، RDPO يحسن فقط استهلاك المكافآت، وليس جودة إشارة المكافأة. إذا كان نموذج المكافأة متحيزاً أو غير متوائم، سواء كان غير مرتبط أم لا، ستستمر السياسة في التحسين للهدف الخاطئ. هناك أيضاً العبء الحسابي لحساب مصفوفات التغاير لكل دفعة، التي تنمو تربيعياً مع عدد أبعاد المكافأة النشطة ويمكن أن تصبح عنق زجاجة في الفضاءات عالية الأبعاد جداً. نموذج MiniMax M3 يحطم سقف الأوزان المفتوحة بتسريع 9.4…

يعترف المؤلفون بأن طريقتهم تفترض أن أبعاد المكافأة يمكن تقسيمها بشكل معقول إلى فضاءات فرعية نشطة، وهو خيار تصميم قد لا يكون مباشراً للمهام ذات الأهداف المتشابكة بعمق.

"نرى RDPO كأساس لـ RL متعدد المكافآت أكثر منهجية، وليس كحل نهائي،" يخلصون. "فهم متى يجب إزالة الارتباط بين المكافآت ومتى يجب إبقاؤها مقترنة هو اتجاه بحثي مفتوح."