لماذا تحتاج نماذج الرؤية واللغة إلى نافذة ترحيل بصرية لوقف التخيل

يمكن لنماذج الرؤية واللغة الإجابة عن أسئلة حول الصور بشكل جيد في هذه المرحلة. ولكن عندما تتخيل، وتصف أشياء غير موجودة أو تخطئ في العلاقات المكانية، فغالبًا لا يكون ذلك بسبب فقدان المعلومات البصرية. لقد فقد النموذج المسار إليها في مكان ما داخل مكدس التفكير الخاص به.

يقدم بحث جديد من جامعة تونغجي وجامعة هونغ كونغ للفنون التطبيقية، المنشور على arXiv، السرد الميكانيكي الأكثر تفصيلاً حتى الآن لكيفية حدوث ذلك وما يجب فعله حيال ذلك. يحدد المؤلفون إيقاعًا داخليًا ثلاثي المراحل عبر طبقات المحولات في نماذج الرؤية واللغة، ويصيغون المرحلة الوسطى الحرجة كنافذة الترحيل البصري (VRW)، ويقدمون إطار تحكم خفيف الوزن في وقت الاستدلال يسمى TRACE يحدد مواعيد هذه النافذة بشكل تكيفي بناءً على ما تحتاجه كل مهمة.

الإيقاع ثلاثي المراحل للانتباه متعدد الوسائط

تتبع الباحثون مسباري انتباه عبر طبقات عشرة نماذج رؤية ولغة مفتوحة الوزن، بما في ذلك متغيرات من Qwen-VL وInternVL وLLaVA. قاس المسبار الأول مدى قوة نظر رموز الإجابة إلى السؤال. قاس المسبار الثاني مدى قوة انتباه الرموز البصرية لبعضها البعض. وجدوا نمطًا ثابتًا عبر جميع النماذج: تركز الطبقات المبكرة على التنظيم المشروط بالسؤال، وتتحول الطبقات الوسطى إلى التوحيد البصري الداخلي، وتعود الطبقات اللاحقة إلى تكوين الإجابة.

تلك المرحلة الوسطى، نافذة الترحيل البصري، هي المكان الذي يتم فيه تجميع الأدلة البصرية بنشاط قبل تسليمها إلى الجانب اللغوي للتفكير. هندستها ليست ثابتة. تميل المهام كثيفة التفاصيل مثل العد إلى الحاجة إلى نوافذ ترحيل أطول وأحدث، بينما تستفيد مهام التفكير عالية المستوى من تسليم مبكر.

لماذا تظهر الإجابات غير المدعومة

توضح الدراسة رابطًا سببيًا بين عدم تطابق الترحيل والتخيل. باستخدام معيار HaloQuest، قارن المؤلفون التكميلات المثبتة وغير المدعومة المولدة من نفس أزواج الصورة والسؤال. أظهرت الإجابات غير المدعومة باستمرار نوافذ ترحيل أضيق، وانتهاء ترحيل مبكر، وتثبيتًا بصريًا أضعف بعد التسليم. في تجربة الترقيع، أدى استبدال التنشيطات المتبقية للرموز البصرية داخل نافذة الترحيل البصري المقدرة بتلك الموجودة في الفرع المثبت إلى استعادة الاستجابات الصحيحة في 41.4٪ من الحالات غير المدعومة. للمقارنة، استعادت الترقيعات قبل الترحيل 8.7٪ فقط، والترقيعات بعد الترحيل 11.2٪.

أظهرت المتغيرات التفكيرية لنفس النماذج الأساسية (مثل Qwen3-VL-4B Instruct مقابل Thinking) محاذاة ترحيل أفضل مع متطلبات المهمة وتثبيتًا أقوى بعد التسليم. يشير هذا إلى أن ميزتها تأتي جزئيًا من الجدولة الداخلية الأكثر ملاءمة للأدلة البصرية.

TRACE: جدولة الدعم البصري دون إعادة تدريب النموذج

بناءً على هذه النتائج، بنى الفريق TRACE (إرساء الترحيل التكيفي للمهمة وجدولة الأدلة المتحكم بها)، وهو إطار يحتوي على 199,244 معلمة قابلة للتدريب للنماذج ذات 4 مليار معلمة و297,548 للنماذج ذات 8 مليار معلمة. يعمل في ثلاث مراحل. تتنبأ شبكة MLP خفيفة الوزن بدرجة ترحيل كل طبقة من إحصائيات الانتباه في وقت ما قبل الملء. يقوم جدولة مدركة للمهمة بتوسيع أو تضييق نافذة الترحيل من خلال تطبيق تحيز ناعم على لوغاريتمات الانتباه من بصري إلى بصري. تحافظ وحدة التثبيت بعد التسليم على الوصول إلى الدعم البصري المحدد أثناء توليد الإجابة، مع تعديل القوة بواسطة عدم اليقين في فك التشفير.

يتم تدريب الوحدات من تسميات زائفة مستحثة بواسطة مقدر نافذة الترحيل البصري، مع إبقاء نموذج الرؤية واللغة الأساسي مجمداً. يستغرق التدريب حوالي 8 ساعات على أربع وحدات معالجة رسوميات NVIDIA RTX 5090.

النتائج: مكاسب في التثبيت دون مقايضات

تم تقييم TRACE على أربعة نماذج أساسية مفتوحة الوزن (Qwen3-VL-4B/8B وInternVL3.5-4B/8B) عبر سبعة معايير تغطي فهم المستندات، والتفكير البصري، والإعدادات الحساسة للتخيل. على معايير الحساسة للتثبيت (HallusionBench وVlmsAreBlind وCountBench)، قدم تحسنًا متوسطًا قدره 4.33 نقاط، مع مكاسب تصل إلى 6.6 نقاط على HallusionBench مع InternVL3.5-8B. كما حسّن معايير التفكير الثقيلة مثل MathVista، مما يشير إلى أن الآلية تعالج كلاً من التخيل والتفكير المنطقي من خلال مبدأ تحكم واحد أساسي.

بالمقارنة مع ثمانية خطوط أساسية، بما في ذلك التوجيه بسلسلة الأفكار، وفك التشفير التبايني البصري، والعديد من طرق إعادة توزيع الانتباه وتوجيه التنشيط، حقق TRACE أعلى متوسط درجة على كل نموذج أساسي، مع مكاسب إجمالية تتراوح من 2.84 إلى 3.18 نقطة مقارنة بالاستدلال العادي عبر مجموعة المعايير الكاملة.

كود الفريق متاح على GitHub.