VideoCoCo يصلح فيزياء فيديو الذكاء الاصطناعي المعطوبة بالتفكير في كود Blender

شاهد مقطع تحويل النص إلى فيديو لفترة كافية وسترصد العلامة الدالة. كوب ينقلب، وقطعة قماش تنثني، وكرة ترتد، وفي مكان ما قرب الثانية الثالثة تتوقف البكسلات عن طاعة الفيزياء. تبدو الإطارات شبه واقعية فوتوغرافيًا. أما الديناميكيات فغالبًا ليست كذلك. الورقة التي تقف خلف أحدث جولة من أرقام المعايير تقول إن هذه ليست مشكلة تقديم، بل مشكلة استدلال.

يبدأ VideoCoCo، الذي نُشر على arXiv في 29 يوليو ضمن قسم Computer Vision and Pattern Recognition، من تشخيص محدد. يتعين على نموذج تحويل النص إلى فيديو أن يستنتج التطور الزمني للمشهد ضمنيًا من مطالبة نصية شديدة الضغط، وهذا الاستدلال الضمني هو المكان الذي يموت فيه الاتساق الفيزيائي. وتشرح الورقة أيضًا لماذا لم تصلح محاولات سلسلة التفكير السابقة المشكلة. فالخطط الوسيطة والحالات البصرية التي تنتجها عادةً غير قابلة للتنفيذ أو متناثرة زمنيًا. يمكن للنموذج أن يلمّح إلى ما ينبغي حدوثه. لكن لا شيء يشغّله.

جعل سلسلة التفكير قابلة للتنفيذ

VideoCoCo إطار وكيلي ثنائي المحرك، ولا يكتمل منطق التصميم إلا إذا تتبعت أي جزء يقوم بأي وظيفة. يأخذ وكيل البرمجة المطالبة ويولّد برنامج Blender يحدد المشهد وتطوره عبر الزمن بشكل صريح. يشغّل محرك محاكاة قابل للتنفيذ ذلك البرنامج لإنتاج مسودة مكانية-زمانية حتمية، نسخة ملموسة واحدة من الحركة تُحسم قبل رسم أي بكسل. بعد ذلك، يحوّل محرك فيديو توليدي المسودة إلى مقطع واقعي فوتوغرافي عبر تحرير مشروط بالمسودة. لا يصف وكيل البرمجة المشهد بالكلمات ثم يأمل. بل يكتب برنامجًا يحدد ما هو موجود وما يتغير.

المغزى هو التقسيم. الاستدلال على مستوى العملية، أي تحديد كيفية تصرف المشهد، يعيش في كود قابل للتنفيذ ويمكن تشغيله وفحصه وتصحيحه مثل أي برنامج. أما الإنجاز البصري عالي الدقة، أي جعله يبدو كفيلم، فمتروك لمحرك التوليد. لا يتعين على أي من النصفين أن يكون بارعًا في مهمة النصف الآخر. لم يعد على محرك التوليد أن يخترع الفيزياء من البكسلات. مهمته أن يجعل محاكاة صادقة تبدو كسينما، وهي مهمة أضيق وأسهل معالجة.

لكي يجعل الباحثون محرك الفيديو مرتاحًا للمدخلات المحاكاة، بنوا VideoCoCo-3K، وهي مجموعة بيانات منتقاة من ثلاثيات «مسودة-تعليمات-هدف» تُكيّف المحرر مع المسودات التي ينتجها المحاكي. ويُظهر إدخال المجموعة حاليًا 64 صوتًا مؤيدًا على Hugging Face.

قراءة لوحة النتائج

ثم الأرقام. على PhyGenBench، يحسّن VideoCoCo خط OmniWeaving الأساسي من 0.475 إلى 0.558. وعلى VBench-2.0، يرتفع من 52.18 إلى 77.88، أي قفزة بمقدار 25.7 نقطة، وتفيد الورقة بتحقيق أفضل متوسط نتيجة على كلا المعيارين.

تقع النتائج على مقاييس مختلفة، فـ PhyGenBench يُقاس بالكسور وVBench-2.0 بالنقاط، لذا لا ينبغي مقارنة المكسبين مباشرة. تستحق أرقام المعايير أيضًا حاشية واحدة قبل أن تتحول إلى عناوين راسخة. تختبر هذه المجموعات شريحة محددة من السلوك، والنتائج هي أرقام فريق واحد مستمدة من تقييمه الخاص، بانتظار تكرار مستقل. لكن القفزة تظهر في كلتا المجموعتين، وهذا ليس بالأمر الهيّن. إنه يمنح الادعاء الأساسي مساحة لأن يُؤخذ على محمل الجد.

الرهان البنيوي أكثر إثارة للاهتمام من النتيجة. إذا كان المحاكي يحسم الفيزياء، فإن نمط الفشل العملي لفيديو الذكاء الاصطناعي يتغير. فبدل نموذج لا يستطيع الاستدلال حول العالم، تحصل على مسودة يمكنك تنقيحها. المطالبة نفسها تنتج المحاكاة نفسها، ويصبح تحرير سكربت Blender وسيلة لتوجيه النتيجة. الحتمية وقابلية الفحص نقطة تشغيل مختلفة حقًا لتحويل النص إلى فيديو.

ما تتركه الخلاصة مفتوحًا

ثمة ثلاث فجوات تستحق الذكر. يُدرج خط الأنابيب مرحلة محاكاة كاملة قبل التوليد، ولا تقول الخلاصة شيئًا عن تكلفة ذلك من حيث الحوسبة أو زمن الاستجابة. مسودات Blender هندسة حتمية، وما إذا كان محرك فيديو مدرّب عليها قادرًا على بلوغ حركة معبّرة أو منمقة أمر غير مثبت. والنتائج هي مجموعة واحدة ومعياران ولا فحص مستقل بعد. هكذا تبدأ معظم النتائج الجيدة.

رهان VideoCoCo هو أن الاتساق في فيديو الذكاء الاصطناعي يمر عبر حزمة برامج ثلاثية الأبعاد، لا عبر مطالبات أكثر جرأة. على معاييره الخاصة، نجح الرهان. أما ما إذا كان سيصمد خارجها فمسألة يقررها التكرار المستقل، وهي المسألة الأجدر بالمتابعة.