عندما يتعلم الذكاء الاصطناعي الرسم وتصحيح نفسه أثناء الكتابة

المعلم على السبورة لا يكتب كل كلمة أولاً ثم يبدأ الرسم. الصوت يُشكّل الرسم البياني؛ والرسم البياني يُوجّه الجملة التالية. الإدراك البشري يقرن الإنتاج والفهم في حلقة مستمرة. الأنظمة الاصطناعية تجنبت في الغالب تلك الحلقة بمعالجة كل وسيط كمسلك منفصل.

تهدف ورقة بحثية نُشرت هذا الأسبوع على arXiv إلى سد تلك الفجوة. يقدم المؤلفون، من تعاون يضم باحثين من الأوساط الأكاديمية والصناعية، عمليات ماركوف المقترنة ذاتية التصحيح (SC-CMJP)، وهو إطار رياضي حيث تصبح معدلات الانتقال لوسيط واحد دوالً لدرجة الثقة للوسيط الآخر، مرجحة بالانتباه عبر الوسائط. مُعيّنهم الخالي من التدريب، CO₂Jump، يعمل بمرور واحد. والأهم من ذلك، أنه يتراجع عن الالتزامات بمجرد أن تنقلب الأدلة عبر الوسائط ضدها.

هذا ليس تحسنًا تدريجيًا لبنية معروفة. إنه انحراف هيكلي عن كيفية معالجة التوليد المشترك حتى الآن. النتائج على ثلاثة معايير جديدة تشير إلى أن هذا الانحراف مهم. يذكر التقرير أن CO₂Jump يحقق أفضل أداء مشترك لفهم الصور وتحريرها بالإضافة إلى التفكير البصري، بما في ذلك مهام حل المتاهات والنانوجرام. أداؤه يتصاعد بشكل رتيب مع عدد خطوات إزالة التشويش، وهي علامة على أن الاقتران عبر الوسائط يتراكم على مسارات أطول، وليس فقط في الخطوة الأخيرة.

مشكلة الاقتران التي لم يحلها أحد

نماذج الانتشار المقنعة (MDMs) مناسبة نظريًا للتوليد المشترك متعدد الوسائط لأنها تعمل في فضاء الرموز المنفصلة ويمكنها التعامل مع تسلسلات رموز متعددة في وقت واحد. عمليًا، اتخذت المُعينات الحالية مسارين. وحدات فك التشفير المتداخلة تتبادل بين الوسائط، دورة واحدة لكل خطوة زمنية، مما يعني أن الصورة تتخلف عن النص بخطوة إزالة تشويش كاملة. وحدات فك التشفير المتوازية تحدث كلا الوسيطين بشكل مستقل داخل الخطوة، لكن كل فرع يرى فقط تاريخ الآخر حتى الخطوة الزمنية السابقة. التناقض الذي يُدخل في رمز نصي عند الخطوة t يُكتشف فقط عند الخطوة t+1، إن تم اكتشافه على الإطلاق.

لا يأخذ أي من النهجين في الاعتبار ما يسميه المؤلفون "عدم قدرة نماذج الانتشار المقنعة على إعادة القناع". بمجرد إزالة القناع عن رمز وفك تشفيره إلى رمز ملموس، يتركه الإطار القياسي ملتزمًا. كلمة تتعارض مع الصورة، أو بكسل يتعارض مع التسمية التوضيحية، يبقى في المخرجات. لا يمكن للنموذج التراجع.

يحل SC-CMJP هذه المشكلة بإضافة قفزة إعادة قناع: عملية عشوائية تعيد رمزًا تم فك تشفيره سابقًا إلى الحالة المقنعة عندما تنخفض الأدلة عبر الوسائط عن حد مُتعلم. الفكرة الرئيسية هي أن معدل الانتقال لكل رمز ليس جدولًا زمنيًا ثابتًا بل دالة لحالة الوسيط الآخر، تُحدث كل خطوة. الاقتران سببي وثنائي الاتجاه داخل نفس خطوة إزالة التشويش، وليس متأخرًا بخطوة.

CO₂Jump: مُعيّن خالٍ من التدريب مع تراجع مدمج

المُعيّن نفسه خالٍ من التدريب. يعمل على أي نموذج انتشار مقنع مُدرّب مسبقًا دون ضبط دقيق. في كل خطوة، يحسب مرورين لكل وسيط: مرور أمامي لتوليد رموز جديدة ومرور ثقة عبر الوسائط لتحديد الرموز التي تم إزالة القناع عنها سابقًا والتي تحتاج إلى إعادة قناع. تُحدد قفزة إعادة القناع بواسطة مقياس عددي واحد β يتحكم في مدى عدوانية النموذج في التراجع عن الالتزامات. تُظهر الورقة أن β ثابت بقيمة 0.5 يعمل عبر جميع المهام المختبرة، ومتانة النموذج تجاه ذلك المعامل الفائق تشير إلى أن الآلية ليست منتقاة لنطاق ضيق.

للتدريب والتقييم، أنشأ الفريق وسيطلق ثلاثة مجموعات بيانات واسعة النطاق للتوليد المشترك متعدد الوسائط: JEdit-1M (أزواج تحرير الصور مع تعليمات نصية)، JMaze-200K (متاهات مع مسارات حل وأوصاف نصية)، وJNono-200K (ألغاز نانوجرام مع قيود). يأتي كل منها مع معايير مطابقة داخل التوزيع وخارجه. هذا مهم لأن مجموعات بيانات التوليد المشترك الحالية تميل إلى أن تكون صغيرة أو اصطناعية.

نتائج المعايير: التصحيح الذاتي يتفوق على التوازي

تقارن الورقة CO₂Jump مع استراتيجيتي المعاينة السائدتين، المتداخلة والمتوازية، على جميع المعايير الثلاثة بالإضافة إلى معيار CoMM المعمول به للتوليد متعدد الوسائط. في جميع المجالات، يفوز CO₂Jump، ويتسع الفارق مع زيادة عدد الخطوات.

التصاعد الرتيب مع خطوات إزالة التشويش ربما يكون النتيجة الأكثر دلالة. الأساليب المتداخلة والمتوازية تميل إلى الاستقرار بعد 100 إلى 200 خطوة بغض النظر عن الميزانية الحسابية. CO₂Jump يستمر في التحسن بعد 500 خطوة، لأن كل خطوة إضافية تمنح آلية الانتباه عبر الوسائط فرصة أخرى لاكتشاف وتصحيح حالات عدم التطابق.

ماذا يعني هذا للمجال

عُولج التوليد المشترك متعدد الوسائط كمشكلة هندسية لمحاذاة خطي أنابيب أحاديي الوسيط: نموذج تعليق توضيحي بالإضافة إلى نموذج نص إلى صورة، أو محرر صور يتبع التعليمات مع وحدة فك ترميز نصية منفصلة. يشير إطار SC-CMJP إلى أن هذا الفصل المعماري ليس مجرد إهدار بل ضار أيضًا. التناقضات بين النص والصورة حتمية عندما يتم تدريب نموذجين بشكل منفصل ويتم ربطهما فقط في وقت الاستدلال.

نهج الورقة، الاقتران من خلال معدلات الانتقال مع تراجع عشوائي، أنيق رياضيًا ورخيص حسابيًا. لا يضيف أي معاملات قابلة للتدريب إلى نموذج الانتشار المقنع الموجود. المقابل هو زيادة متواضعة في زمن الاستدلال، لأن مرور الثقة عبر الوسائط يتطلب مرورًا أماميًا لكلا الوسيطين لكل خطوة. لكن المؤلفين يذكرون أن CO₂Jump يصل إلى نفس جودة الطريقة التالية الأفضل مع حوالي 30 بالمائة خطوات أقل، مما يجعل وقت الساعة تنافسيًا أو أفضل.

للممارسين الذين يبنون وكلاء متعددي الوسائط، فكر في ذكاء اصطناعي يلتقط لقطة شاشة لواجهة مستخدم، ويكتب تعليمات بلغة طبيعية لتحريرها، وينفذ التحرير في حلقة واحدة. يزيل نهج SC-CMJP الحاجة إلى ربط نماذج منفصلة بهندسة مطالبات هشة. تعمل قفزة إعادة القناع كآلية تصحيح ذاتي مدمجة لا يمكن لأي مدقق قائم على قواعد صريحة مضاهاتها.

السؤال المفتوح: هل يعمم الاقتران ثنائي الاتجاه؟

تختبر الورقة اقتران النص والصورة، لكن إطار SC-CMJP غير مقيد بالوسيط. من حيث المبدأ، يمكنه اقتران ثلاثة وسائط أو أكثر، مثل النص والصورة والصوت، طالما أن فضاء الرموز لكل وسيط يناسب عملية ماركوف بالقفز ويمكن حساب أوزان الانتباه عبر الوسائط. ما إذا كانت قفزة إعادة القناع تتوسع لأكثر من عمليتين مقترنتين دون الوصول إلى انفجار اندماجي لإشارات التصحيح يبقى سؤالًا مفتوحًا. لا يتناوله المؤلفون في هذه الورقة.

قيود أخرى: الطريقة خالية من التدريب للمُعيّن نفسه، لكن نموذج الانتشار المقنع الأساسي يجب أن يكون قادرًا بالفعل على الانتباه عبر الوسائط. هذا يحد من الإثبات الحالي للنماذج المدربة بنوع من التدريب المسبق متعدد الوسائط. النموذج المدرب فقط على النص لن يكتسب فهم الصورة من SC-CMJP وحده.

مع ذلك، تقدم الورقة مساهمة نادرة: تغيير في الإطار يحسن النتائج دون بيانات تدريب جديدة، أو متطلبات حسابية جديدة، أو بنى نماذج جديدة. في مجال حيث كل أسبوع يأتي بنموذج جديد أكبر من سابقه، فإن خوارزمية تستخرج المزيد من النماذج التي لدينا بالفعل تستحق الاهتمام.