حل مايكروسوفت للتعلم التجريبي يمنح نماذج الذكاء الاصطناعي مدربًا، وليس مجرد درجة

التعلم المعزز لنماذج اللغة لديه عنق زجاجة يعرفه جيدًا أي شخص قام بتصحيح نموذج مكافأة: الإشارة ضعيفة جدًا. تقوم معايير التقييم بتقييم الاستجابة، وتضغط هذا التقييم في قيمة عددية واحدة، وتتجاهل كل شيء آخر حول لماذا كانت إحدى الاستجابات أفضل من الأخرى. قد تحتوي استجابتان لهما نفس الدرجة على ملفات تعريف جودة مختلفة جدًا، لكن النموذج لا يتعلم الفرق أبدًا.

ورقة بحثية من أبحاث مايكروسوفت آسيا، نُشرت على arXiv هذا الأسبوع، تقترح حلاً يعالج تلك التغذية الراجعة النصية المفقودة كإشارة أساسية بدلاً من إهدارها. يستبدل التعلم التجريبي المكافأة العددية بما يسميه المؤلفون المعرفة التجريبية، وهي تغذية راجعة نصية منظمة وقابلة للنقل يستخرجها نموذج مدرب ثم تُقطر في أوزان نموذج السياسة أثناء التدريب.

الفكرة الأساسية بسيطة: إذا كان لديك بالفعل نموذج حكم يقيم الاستجابات مقابل معايير تقييم، فإن هذا الحكم يمتلك معلومات غنية لا ينقلها أبدًا. يقوم المؤلفون بإعادة توظيفه كمدرب يخرج تحليلاً نصيًا قصيرًا لكل استجابة: ما فعلته بشكل جيد، وأين قصر، وكيف ستبدو الإجابة الأقوى. هذا النص بعد ذلك يوجه نموذج معلم يولد استجابات نموذجية عالية الجودة. يتعلم نموذج السياسة من تلك الاستجابات النموذجية من خلال تقطير السياق القائم على السياسة، حيث يقرأ بشكل أساسي تغذية المدرب الراجعة والاستجابة المحسنة للمعلم أثناء تحديث معلماته الخاصة.

هذا ليس نفس خط الأنابيب مثل إطار عمل تقطير المهارات القائم على السياسة الذي قمنا بتغطيته في وقت سابق من هذا العام، على الرغم من أن كلاهما يشتركان في الحدس بأن التغذية الراجعة الأكثر كثافة مهمة. يستخرج OPID الإشراف بأثر رجعي من المسارات المكتملة؛ يستخرجه EL من نص تقييم الحكم نفسه. يمكن أن يكون الاثنان مكملين.

اختبرت الورقة EL عبر عائلتين من نماذج السياسة، Llama-3.1-8B-Instruct مفتوح المصدر ونموذج خاص، باستخدام تغذية راجعة إما من السياسة نفسها أو من GPT-4o كمدرب. عبر المهام المحتجزة وغير المرئية مفتوحة النهاية (النوع الذي توجد فيه معايير تقييم لكن مساحة الإجابة كبيرة)، تفوق EL باستمرار على التعلم المعزز القياسي القائم على معايير التقييم.

النتيجة الأكثر إثارة للاهتمام هي ما يحدث خارج نطاق توزيع التدريب. يميل التعلم المعزز القائم على معايير التقييم إلى الإفراط في التكيف مع معايير التقييم التي تدرب عليها؛ عند إعطائه معايير تقييم مختلفة قليلاً في وقت الاختبار، ينخفض الأداء. صمدت نماذج EL بشكل أفضل، مما يشير إلى أن التغذية الراجعة النصية علمت فهماً أكثر عمومية للجودة بدلاً من تطابق ميكانيكي من معايير التقييم إلى الدرجة. أفاد المؤلفون أيضاً أن EL خفف من اختراق المكافأة، وهي الظاهرة التي يتعلم فيها النموذج استغلال الثغرات في وظيفة المكافأة بدلاً من حل المهمة فعلياً.

هذا مهم لأن اختراق المكافأة يمثل مشكلة مستمرة في مواءمة التعلم المعزز. الإصلاح المكون من كلمتين لمشكلة التخريب الذاتي للتعلم المعزز الذي قمنا بتغطيته مؤخراً عالج المشكلة من زاوية مختلفة، مما يمنع عملية التحسين من محاربة نفسها. يعالجها EL من جانب البيانات: إذا كانت إشارة المكافأة تحمل معلومات أكثر، فهناك مساحة أقل للنموذج لاكتشاف اختصارات هشة.

المقايضة هي الحوسبة. تشغيل نموذج مدرب ونموذج معلم على كل استجابة قائمة على السياسة يضيف إلى تكلفة التدريب. لا تذكر الورقة مقارنات زمنية حاسوبية مباشرة، لكن خط الأنابيب يتطلب بوضوح تمريرات أمامية أكثر لكل خطوة تدريب مقارنة بحلقة التعلم المعزز القياسية. السؤال هو ما إذا كان التحسن في التعميم والمتانة يبرر الإنفاق الإضافي، وبالنسبة لأي فريق يتدرب على مهام غير قابلة للتحقق (الكتابة، التفكير، الحوار المفتوح)، فإن الإجابة حتى الآن هي نعم.

يُوعد بالكود في مستودع مايكروسوفت تحت اسم المشروع EL. بمجرد إصداره، سيكون الاختبار الحقيقي هو ما إذا كانت الطريقة تتوسع إلى نماذج أكبر وتبقى مستقرة عبر نماذج تدريب مختلفة. في الوقت الحالي، تقدم مسارًا ملموسًا للخروج من فخ العدد الذي قيد التدريب اللاحق للمهام مفتوحة النهاية منذ أن أصبح RLHF معيارًا.