كيف يوقف التقطير المطابق للسياق معلمي الفيديو عن رؤية المستقبل

توليد الفيديو التفاعلي يعاني من مشكلة زمنية. يجب على النموذج إنتاج كل إطار معتمدًا فقط على ما سبقه؛ فكل ما بعده، من وجهة نظره، لا يزال غير مكتوب. وغالبًا ما تتجاهل خطوط أنابيب التقطير المستخدمة لتدريب تلك النماذج هذا القيد. يقوم معلم ثنائي الاتجاه بتقييم مخرجات الطالب مقابل مقطع كامل، بما في ذلك إطارات لم يكن الطالب ليستطيع معرفتها عندما أنتج هدفه.

هذا التباين هو موضوع ورقة جديدة بعنوان Context-Matched Distillation: Teacher Causality for Autoregressive Video Distillation، منشورة على Hugging Face. الحجة واضحة ومباشرة: إذا كان بإمكان الطالب قليل الخطوات رؤية الماضي فقط، فيجب على معلمه رؤية الماضي فقط أيضًا. تفرض منهجية الورقة، التقطير المطابق للسياق (CMD)، ذلك بدقة، وتُبلغ عن نتائج إجمالية متطورة ضمن الأساليب الانحدارية الذاتية على معايير الفيديو القصير والطويل.

لماذا كان بإمكان معلمي تقطير الفيديو رؤية المستقبل

يوجد التقطير قليل الخطوات لتسريع توليد الفيديو التفاعلي، عبر خفض عدد خطوات إزالة التشويش التي يحتاجها كل مسار (rollout). والمشكلة أن التحكم عبر الإنترنت، وهو ما يتطلبه الاستخدام التفاعلي، يفرض قيدًا سببيًا: لا يجوز للإطارات والكتل أن تعتمد إلا على التاريخ والتحكمات المتاحة وقت التوليد.

لا تمدّد خطوط أنابيب تقطير مطابقة التوزيع القياسية للفيديو (DMD) هذا القيد إلى المعلم. فهي تُشرف على طلاب سببيين قليلي الخطوات بواسطة معلمين ثنائيي الاتجاه يقيّمون مقاطع كاملة. لذلك يمكن أن تعتمد الدرجة المخصصة لهدف ما على إطارات وتحكمات مستقبلية لم تكن متاحة عندما أنتج الطالب ذلك الهدف. يُدرَّب الطالب على مطابقة درجة حُسبت بمعلومات أكثر مما سيتاح له في وقت التشغيل.

تظهر المشكلة في أعمال ذات صلة من جهة الطالب. في تغطيتنا لمشروع Cosmos-H-Dreams من NVIDIA، وهو مشروع تقطير يهدف إلى محاكاة جراحية في الوقت الفعلي، يسمح نموذج يعتمد على مخرجاته غير المثالية للأخطاء الصغيرة بالتراكم بمرور الوقت. الحل هناك هو التقطير الذاتي الإجباري (self-forcing distillation): يتحرك الطالب قدمًا وفق سياقه المُولَّد ذاتيًا تحت إشراف معلم مجمَّد. تسلك CMD الطريق الآخر؛ فهي تُبقي الطالب كما هو وتغيّر ما يُسمح للمعلم برؤيته.

ثلاث آليات، فرضية سببية واحدة

ترتكز CMD على فرضية واحدة: يجب أن يطابق إشراف المعلم المعلومات المتاحة عند توليد كل هدف. وتنبع ثلاث آليات من ذلك.

الأولى هي المعلم السببي. فبينما تقيّم خطوط الأنابيب الحالية مقاطع كاملة، يقيّم معلم CMD كل هدف دون الوصول إلى أي إطار أو تحكم مستقبلي. يعمل المعلم السببي نفسه أيضًا على تهيئة الطالب قليل الخطوات، بحيث تتشارك تدريب المعلم وتقطير الطالب والاستدلال في صياغة سببية واحدة. لا يحصل أي جزء من خط الأنابيب على نظرة استباقية لن تتوفر للطالب في وقت التشغيل.

أما الآلية الثانية، تقييم البادئة (prefix scoring)، فتعالج تباينًا أدق. أثناء التوليد التفاعلي، لا يبني الطالب على الحقيقة الأساسية؛ بل يبني على مخرجاته المُولَّدة سابقًا. يقيّم تقييم البادئة كل هدف تحت البادئة المُولَّدة من الطالب والمخزنة مؤقتًا والتي أنتجته فعليًا، رابطًا الإشراف بسياق المسار الفعلي الذي حققه الطالب بدلًا من سياق مثالي.

يخلق هذا الإعداد مشكلة عدم استقرار، لأن المسارات المبكرة تنتج بادئات غير موثوقة. أما الآلية الثالثة، إفساد البادئة (prefix corruption)، فتعمل على تشويش تلك البادئات المبكرة لتثبيت التدريب مع الحفاظ على التوافق بين الهدف وسياق توليده.

ولأن الصياغة السببية لا تتغير أبدًا، تمتد CMD بشكل طبيعي إلى التوليد إطارًا بإطار أو كتلة بكتلة، وإلى تقطير الفيديو الطويل، وإلى التقطير المشروط بالكاميرا.

لعدم الاستقرار هذا نظير معروف في تقطير نماذج اللغة. وجد تحليلنا لـ Flux-OPD أن السياقات المتطورة تدفع المعلمين المشروطين بالسياق في اتجاهات مختلفة، وأن دالة هدف كولباك-ليبلر العكسية (reverse KL) تحمل حد تعارض يقيس ذلك الاختلاف. تواجه CMD عدم استقرار مماثلًا في سياق الفيديو، حيث يكون العنصر غير المستقر هو مسار الطالب نفسه.

ما تظهره المعايير، والتحفظ المصاحب

النتائج المُبلغ عنها قوية، مع تحفظ واحد يستحق التأكيد. تحقق CMD أداءً إجماليًا متطورًا ضمن الأساليب الانحدارية الذاتية على معايير الفيديو القصير والطويل، إضافة إلى تحسن جوهري في الالتزام بتحكمات الكاميرا المتغيرة بمرور الوقت. عبارة «ضمن الأساليب الانحدارية الذاتية» تقوم بعمل حقيقي هنا؛ فالدعوى لا توضح كيف يقارن نموذج مقطَّر عبر CMD مع الأساليب غير الانحدارية الذاتية في توليد الفيديو التفاعلي.

نتيجة التحكم بالكاميرا تحمل الوزن العملي. يُقدَّم الفيديو التفاعلي على أساس توجيه المشهد في الوقت الفعلي، وحركة الكاميرا هي أكثر أشكال التوجيه مباشرة. والالتزام الأفضل بالتحكمات المتغيرة بمرور الوقت هو أوضح مؤشر على أن إزالة نظرة المعلم الاستباقية تؤتي ثمارها حيث ينبغي: عندما يحرك المستخدم الكاميرا في منتصف المسار، لا عذر للنموذج في أن يُفاجأ.

أسئلة مفتوحة تتركها الورقة دون إجابة

تنبع ثلاثة أسئلة من تأطير الورقة نفسه. المقارنة مع الأساليب غير الانحدارية الذاتية غير موجودة ببساطة: ما إذا كان التقطير السببي سينتقل إلى عائلات توليد أخرى، وكيف سيكون أداء نموذج مقطَّر عبر CMD في مواجهة مباشرة مع أحدها، أمر يُترك لأعمال لاحقة. تكلفة القيد غير مُحددة كميًا: إزالة الوصول إلى المستقبل من المعلم تعني تجاهل معلومات بشكل بنيوي، وبالنسبة لمهام يُعرف فيها المقطع كاملًا مسبقًا، مثل التحرير غير المتصل، قد يظل للمعلم ثنائي الاتجاه ما يقدمه. كما أن الملخص يبلغ عن مكاسب في الجودة، لا عن حسابات زمن الاستجابة: يعتمد تقييم البادئة على بادئات مخزنة مؤقتًا، وما يضيفه ذلك إلى ميزانية كل مسار غير موضح بالتفصيل. واقتصادات التكلفة لكل توليد تشكل مصدر قلق حيًا في مواضع أخرى من المجال، كما يظهر من التسعير بالثانية لنموذج Wan3.0-Video.

مكانة CMD في نقاش التقطير الأوسع أوضح. الطلاب ذوو الإجبار الذاتي، ومطابقة السياق على السياسة (on-policy)، وسببية المعلم الآن، كلها تشير في اتجاه واحد: يتحسن التقطير التوليدي عندما تتطابق شروط التدريب مع الشروط التي سيعمل النموذج في ظلها فعلًا. المبدأ نفسه يظهر في جانب نماذج العالم، حيث يتعلم PhiZero لغة فيزيائية من الفيديو الخام ليفكر قبل العرض، وحيث يكتب VideoCoCo المشاهد ككود Blender ليُشغلها محاكي. ببساطة، تجعل CMD المعلم يخضع لنفس الساعة التي يخضع لها الطالب. وأن إصلاحًا بسيطًا من الناحية المفاهيمية يفوز بالمعايير يشير إلى مقدار التباين الذي كان المجال يتسامح معه بهدوء.