CO2Jump من Google تزاوج بين توليد النص والصورة في مسار واحد يصحح نفسه أثناء التنفيذ

لا يفكر البشر في مسارات منفصلة. عندما يرسم معلم رسمًا بيانيًا على السبورة، يشكل الشرح المنطوق والرسم المتطور بعضهما البعض في الوقت الفعلي. تتجنب أنظمة الذكاء الاصطناعي متعددة الوسائط الحالية هذا النوع من الاقتران في الغالب. فهي تولد نصًا، ثم صورة من ذلك النص، أو تتناوب بين الاثنين عبر خطوات إزالة تشويش منفصلة، لكن كل وسيط لا يمكنه الوصول إلا إلى المخرجات السابقة للوسيط الآخر، وليس إلى قراراته قيد التنفيذ.

تلك الفجوة مهمة لأنها تعني أن التناقضات عبر الوسائط تظل غير ملحوظة حتى المخرجات النهائية. قد يولد النموذج تعليقًا يقول "مربع مقسم إلى أربعة أرباع" بينما الصورة التي ينتجها تظهر دائرة. لا توجد آلية داخل عملية التوليد لاكتشاف عدم التطابق وإصلاحه.

اقترح فريق من الباحثين في Google، بقيادة مؤلفين من قسم الأبحاث بالشركة، إطارًا يحاول إغلاق هذه الحلقة. والنتيجة هي CO2Jump، اختصارًا لـ Self-Correcting Coupled Jump، وهو مُجمّع بدون تدريب يعدل مسار إزالة التشويش القياسي لنماذج الانتشار المقنعة (MDMs) بحيث تحدث تحديثات النص والصورة بطريقة مقترنة وتصحيح ذاتي داخل كل خطوة.

كيف يعمل: ترجيح النتائج عبر الوسائط

الفكرة الأساسية مبنية على نماذج الانتشار المقنعة، وهي فئة من النماذج التوليدية التي تتعلم عكس عملية التلف المطبقة على الرموز المنفصلة. يغلف CO2Jump نماذج الانتشار المقنعة في "عملية قفز ماركوف مقترنة ذاتية التصحيح" (SC-CMJP). بعبارات بسيطة، تعتمد احتمالات الانتقال التي تحدد ما إذا كان الرمز يتحول من مقنع إلى غير مقنع ليس فقط على احتمالية ذلك الرمز نفسه ولكن أيضًا على درجة الثقة في المنطقة المقابلة في الوسيط الآخر، مرجحة بخريطة الانتباه عبر الوسائط.

إذا كان فرع توليد الصورة غير متأكد من منطقة ما، فإن فرع النص يبطئ من قرارات إزالة الإقناع للرموز التي تهتم بتلك المنطقة، والعكس صحيح. هذا هو الاقتران نفسه. علاوة على ذلك، تسمح قفزة إعادة الإقناع للنظام بالتراجع عن إزالة إقناع سابقة إذا انخفضت درجة الثقة لدى الوسيط الآخر لنفس المنطقة الدلالية عن حد معين في وقت لاحق من المسار.

يصف الباحثون المُجمّع بأنه بدون تدريب لأنه لا يتطلب ضبطًا دقيقًا لنموذج الانتشار المقنع الأساسي. فهو يستخدم نفس النموذج المُدرّب مسبقًا ويعدل فقط كيفية تنسيق خطوات إزالة التشويش.

ثلاث مجموعات معيارية جديدة للتوليد المشترك

لتقييم النهج، أنشأ الفريق ثلاث مجموعات كبيرة من النصوص والصور للتوليد المشترك متعدد الوسائط، وكلها يخططون لنشرها علنًا. تحتوي JEdit-1M على مليون زوج من الصور والنصوص مصممة لمهام الفهم والتحرير المشترك. تحتوي JMaze-200K وJNono-200K كل منهما على 200,000 لغز متاهة وغيروغرام على التوالي، مع أوصاف نصية مطابقة، بهدف اختبار التفكير البصري في إطار منظم قائم على القواعد. تم تضمين متغيرات داخل التوزيع وخارجة عنه لجميع المجموعات الثلاث.

وفقًا للورقة البحثية، يحقق CO2Jump أفضل أداء مشترك عبر فهم الصور وتحرير الصور ومهام التفكير البصري بالمقارنة مع المُجمّعات المتناوبة والمتوازية الحالية. يذكر المؤلفون أن الأداء يتزايد بشكل رتيب مع عدد خطوات إزالة التشويش، مما يعني أن التأثيرات الإيجابية للاقتران عبر الوسائط تتراكم عبر مسارات أطول بدلاً من أن تصل إلى مرحلة الثبات أو التدهور.

لماذا هذا مهم للتوليد متعدد الوسائط

الآثار الأوسع هي أن جودة التوليد المشترك، حيث يتم إنتاج النص والصورة كقطعة واحدة متماسكة، قد لا تتطلب بنية جديدة جوهريًا. قد يتطلب فقط مُجمّعًا أذكى يحترم الاعتمادات المتبادلة بين الوسائط أثناء التوليد نفسه. معظم خطوط الأنابيب الحالية إما تولد صورة من موجه نصي ثابت (لا يمكنه التفاعل مع الصورة) أو تتناوب التوليدات عبر خطوات، مما يقدم تأخيرًا ولا يصلح الأخطاء عبر الوسائط بأثر رجعي.

يعالج CO2Jump كلتا المشكلتين في مسار واحد. تعمل قفزة إعادة الإقناع كنوع من الناقد الداخلي: إذا قرر فرع الصورة أن جزءًا من المشهد يجب أن يبدو مختلفًا عما التزم به فرع النص بالفعل، يمكن لفرع النص التراجع عن قراره السابق وتجربة رمز مختلف.

ما إذا كان النهج يمكن أن يتوسع ليشمل أكثر من وسيطين، على سبيل المثال، إضافة الصوت أو الفيديو، يظل سؤالًا مفتوحًا. تركز الورقة على زوج الصورة والنص، لكن إطار SC-CMJP محدد بلغة غير مرتبطة بالوسيط، تاركًا هذا الباب مفتوحًا.

صفحة المشروع مع الكود ومجموعات البيانات متاحة على https://coupled-jump.github.io.