تقطير نماذج اللغات الكبيرة يتعثر عندما يبقى السياق ثابتًا. هذه الورقة تجعله يتطور

المجالات مفتوحة النهاية هي حيث ينفد مخزون لوحات النتائج في تدريب نماذج اللغات الكبيرة. لا توجد مكافأة قابلة للتحقق لتحسينها، لذا تقاوم تفضيلات المهمة التحول إلى إشراف. ورقة نُشرت على arXiv بواسطة جامعة بكين في 30 يوليو 2026 تهاجم هذه الفجوة من جانب يتجاهله معظم أبحاث التقطير: ماذا لو كان السياق نفسه هو الجزء المتحرك؟

فجوة الإشراف في المجالات مفتوحة النهاية

يتطلب التدريب القائم على المكافأة شيئًا قابلاً للفحص. المهام مفتوحة النهاية لا توفّره، وضغط حكم شامل في قيمة عددية واحدة يتخلص من معظم ما قاله الحكم. عمل سابق حول «LLM-as-a-Coach» يقدّم التشخيص نفسه: التعلم المعزز على المهام مفتوحة النهاية يضغط تقييمًا قائمًا على معايير في مكافأة عددية، متجاهلًا التغذية الراجعة النصية الغنية التي أنتجها التقييم.

يرى مؤلفو Flux-OPD أن السياقات تقدّم مسارًا ثانيًا. يمكن للسياق أن يحمل تفضيلات المهمة مباشرة إلى التدريب. المشكلة أنه يفيد مرة واحدة ثم يتوقف: بمجرد تقطير هذه التفضيلات في الطالب، لا يضيف السياق إشرافًا إضافيًا يُذكر. لقد استوعبه الطالب. هذه الملاحظة هي الدافع وراء الفكرة الأساسية للورقة، وهي السماح للسياقات بالتطور مع أداء الطالب.

اكتشافان مخفيان في هدف كي إل العكسي (reverse KL)

Flux-OPD، اختصارًا للتقطير ضمن السياسة مع سياقات متطورة (on-policy distillation with evolving contexts)، مبني على تفكيك هدف كي إل العكسي، وهو التباعد المستخدم عادةً لقياس مدى بُعد توزيع الطالب عن معلّميه.

الاكتشاف الأول: يُقطَّر الطالب نحو المتوسط الهندسي للمعلّمين المشروطين بالسياق. في الفضاء اللوغاريتمي، هذا متوسط لما يقوله المعلّمون، لذا يستقر الطالب بين معلّميه بدلًا من أن يكون داخل أيٍّ منهم. الثاني: يحمل الهدف أيضًا حد تعارض يقيس مدى اختلاف هؤلاء المعلّمين. تدفع السياقات المتطورة المعلّمين في اتجاهات مختلفة، وهذا الحد هو مقياس ذلك الاختلاف.

الأساليب الساذجة التي تغذّي السياقات المتطورة مباشرة إلى التدريب تتعثر في كلتا الحقيقتين. يصبح هدف التقطير غير مستقر وتتصادم التوزيعات الناتجة. تعامل Flux-OPD كلتيهما كشرطين يجب التحكم فيهما: فهي تثبّت الهدف وتخفّض وزن التعارضات حتى يتمكن سياق متحرك من مواصلة التعليم.

كيف تحوّل Flux-OPD السياق إلى تصحيح

يدرّب تقطير المعرفة التقليدي نموذج طالب صغيرًا على محاكاة مخرجات معلّم كبير. تغيّر Flux-OPD ما يُطلب من الطالب محاكاته. بدلًا من ملاحقة معلّم مشروط بالسياق مباشرة، يقيس الأسلوب الفرق بين معلّم مشروط بالسياق ومعلّم خالٍ من السياق. هذا الفرق هو إشارة الفرق السياقي: فهو يعزل ما يقدمه السياق.

يُحقن الفرق كتصحيح فوق المعلّم الخالي من السياق، الذي يثبّت التدريب. ثم يزن حد التعارض مدى قوة دفع التصحيح. عندما يختلف المعلّمون المشروطون بالسياق، يُخفَّض وزن التصحيح. عندما يتوافقون، يصل بكامل قوته. في سطر واحد: دع السياق يتحرك، لكن لا تدفع الطالب إلا بقدر ما يتفق المعلّمون على أنه ينبغي.

النتائج، وما يستبعده الملخص

تُظهر التجارب على المهام مفتوحة النهاية تفوق Flux-OPD على نماذج التقطير ضمن السياسة (OPD) الحالية، وفقًا للملخص، الذي يؤطر النتيجة كدليل على أنه يمكن الجمع بين إشراف المعلّم والسياقات المتطورة.

لا يحمل الملخص أرقامًا ولا يسمّي معايير تقييم. هذا أمر طبيعي للطبعة الأولية، لكنه يعني أن التفاصيل التي تتيح للقارئ الحكم على الادعاء، أي المهام، وما خطوط الأساس، وكم هامش التحسن، موجودة في الورقة الكاملة وليس في الملخص. حصلت الطبعة الأولية على 39 صوتًا مؤيدًا على HuggingFace وقت كتابة هذا التقرير.

يمنح نقاش التقطير أيضًا لهذا الأسلوب أهمية تتجاوز المختبر. وقّعت OpenAI وMeta و40 جهة أخرى رسالة سياسات تدعو، فيما يتعلق بالتقطير، إلى أطر قانونية مستهدفة للاستخراج غير القانوني بدلًا من حظر شامل لهذه التقنية. أي أسلوب يغيّر طريقة توجيه الطلاب إلى المعلّمين يقع في صلب تلك الحجة.

ما يبقى مفتوحًا: لا يصف الملخص آلية التثبيت وراء الهدف المتحرك بأي تفصيل، ولا يوضح ما يحدث عندما يهيمن حد التعارض، ولا يحدد نطاق ما تغطيه عبارة «مفتوحة النهاية». المجالات المختلفة مفتوحة النهاية لها بنى تفضيلات مختلفة جدًا. التفكيك هو الجزء الدائم في الورقة؛ أما ما إذا كان التصحيح الموزون بالتعارض يصمد في عمليات التدريب الحقيقية فهو الجزء الذي لا يجيب عنه الملخص.

رهان Flux-OPD بسيط في صياغته: السياق لا يساوي إلا ما يضيفه فوق المعلّم الخالي من السياق، واختلاف السياقات هو قرص ضبط لمقدار الدفع. التفكيك الذي يؤطر هذا الرهان هو أقوى جزء في الورقة. ما تزال إعدادات قرص الضبط بحاجة إلى إثبات نفسها خارج الملخص.