أبحاث الذكاء الاصطناعي
الفهم يجب أن يسبق التوليد: لماذا يكسر رمز MiniMax الجديد حاجز التوسع
يعيد إطار VTP من MiniMax التفكير في كيفية التدريب المسبق لأدوات الترميز البصري، مستبدلاً أهداف إعادة البناء البحتة بمزيج يكافئ الفهم الدلالي. النتيجة هي أداة ترميز تتوسع مع القدرة الحاسوبية والبيانات والمعلمات، وتحسن FID بنسبة 65.8% في التوليد النهائي.
Emmanuel Fabrice Omgbwa Yasse بمساعدة الذكاء الاصطناعي
2026-07-22 · قراءة 4 دقائق
لسنوات، كانت القصة القياسية لأدوات الترميز البصري بسيطة: اجعل البكسلات تبدو أقرب ما يمكن إلى الأصل، وسيقوم المولد النهائي بسد الفجوة. وتبين أن هذه القصة خاطئة.
توثق ورقة بحثية جديدة من MiniMax، بالتعاون مع مختبر رؤية HUST، ما يسمونه "مشكلة توسع التدريب المسبق": أن ضخ المزيد من القدرة الحاسوبية في تدريب أداة الترميز الذاتي البصري القائم على إعادة البناء فقط يمكن أن يجعل التوليد النهائي أسوأ. إطارهم المقترح، VTP (التدريب المسبق لأداة الترميز البصري)، يقلب المنطق بالكامل، معيداً تصور أداة الترميز كمتعلم دلالي أولاً، ومعيد بناء البكسلات ثانياً. النتائج، رغم أنها لا تزال في مرحلة البحث، تشير إلى أن هذا قد يكون المسار المستقبلي للرؤية التوليدية القابلة للتوسع.
المفارقة في قلب التوليد القائم على VAE
أصبحت أدوات الترميز الذاتي المتغيرة (VAEs) أداة الترميز البصري الافتراضية للنماذج التوليدية الحديثة مثل Stable Diffusion و DiT. تقوم بضغط الصور إلى فضاء كامن يتعلم نموذج الانتشار أو الانحدار الذاتي لاحقاً فك تشفيره إلى مخرجات جديدة. المقياس التقليدي للجودة لهذه الأدوات هو دقة إعادة البناء، أي مدى تطابق الصورة المضغوطة ثم المفكوكة مع المصدر.
النتيجة المركزية لـ VTP هي أن هذا المقياس مضلل. عند توسيع أداة ترميز ذاتي قياسية، يتحسن rFID لإعادة البناء، لكن gFID للتوليد يرتفع بالفعل. في إحدى تجارب الورقة، أدى توسيع القدرة الحاسوبية من أول نقطة تفتيش إلى نقطة متأخرة إلى تحسين rFID إلى 0.5، لكن gFID للتوليد تدهور من 55.04 إلى 58.56. كان الفضاء الكامن يتحسن في الحفاظ على التفاصيل منخفضة المستوى، ويصبح أسوأ في توفير سقالة دلالية يمكن للمولد العمل بها.
من الصعب تجاهل التوازي مع نماذج اللغة. في معالجة اللغات الطبيعية، انتقل المجال من إحصائيات n-gram إلى التضمينات المدربة مسبقاً التي تلتقط المعنى، وتبعت جودة التوليد ذلك. يبدو أن الرؤية تصل إلى نفس الاستنتاج، وإن متأخراً: أداة ترميز تفهم ما تراه أكثر فائدة من تلك التي تضغط بأمانة فقط.
يُظهر أحد أكثر الرسوم البيانية لفتاً للانتباه في الورقة العلاقة بين دقة أداة الترميز في التصنيف بدون تدريب على ImageNet (كبديل للفهم الدلالي) و FID للتوليد النهائي. العلاقة خطية تقريباً: فهم أفضل، توليد أفضل. هذا هو الارتباط الذي كان نموذج إعادة البناء فقط أعمى عنه.
ثلاث خسائر، أداة ترميز واحدة
لا يتخلص VTP من إعادة البناء بالكامل. بل يعيد هيكلة التدريب إلى ثلاثة أهداف متوازية: خسارة تباين قياسية بين النص والصورة (على غرار CLIP) لمحاذاة الميزات البصرية مع الدلالات اللغوية، وخسارة تعلم ذاتي (على غرار DINO) لالتقاط العلاقات المكانية والهيكلية داخل الصور، وخسارة إعادة بناء للحفاظ على الدقة منخفضة المستوى. الخسارة النهائية هي مجموع مرجح بسيط، لكن الابتكار يكمن في التأطير: تعلم التمثيل هو المحرك الأساسي، وإعادة البناء هي مصطلح تنظيم.
ينتج عن هذه البنية سلوك توسع سليم. بينما تشبع أداة الترميز القائمة على إعادة البناء فقط بعد حوالي عُشر ميزانية القدرة الحاسوبية، يستمر VTP في التحسن، وبمعدل أكثر حدة. يحقق إطار VTP الكامل (CLIP + SSL + AE) gFID يبلغ 27.8 مع دقة تحقق خطي 74.9% في ظل ميزانية حوسبة ثابتة، متغلباً على أي متغير ذي هدف واحد. والأكثر دلالة، أن توسيع تجربة أداة الترميز عبر حجم البيانات ومعلمات النموذج ينتج مكاسب متسقة، وهو أمر كان مستحيلاً مع النموذج القديم.
نتائج المعايير الكمية
| السيناريو | المقياس | AE القياسي | VTP | التحسن |
|---|---|---|---|---|
| توسيع البيانات (100 ألف → 100 مليون عينة) | gFID | 58.37 → 56.71 | 47.59 → 27.45 | انخفاض ~30 نقطة |
| سرعة التقارب (مقابل VA-VAE) | خطوات التدريب | خط الأساس | أسرع بـ 4.1 مرات | 75% خطوات أقل |
| التصنيف بدون تدريب | دقة ImageNet | ~60% (تقديري) | 78.2% | زيادة ~18 نقطة |
| توسيع الحوسبة (10 أضعاف FLOPs) | gFID | يتدهور | تحسن 65.8% | تحول نوعي |
بعد التدريب المسبق واسع النطاق، يحقق VTP دقة تصنيف بدون تدريب بنسبة 78.2% و rFID لإعادة البناء يبلغ 0.36 على ImageNet. على جانب التوليد، يتقارب أسرع بـ 4.1 مرات من VA-VAE، وهو نهج قائم على التقطير كان يُعتبر سابقاً الأحدث في نقل أداة الترميز إلى المولد.
ماذا يعني هذا لخط أنابيب الذكاء الاصطناعي التوليدي
النتيجة الأكثر عملية هي أيضاً الأبسط: يمكنك توسيع مولد DiT النهائي دون تعديل تكوين تدريبه، وتأتي المكاسب بالكامل تقريباً من ميزانية التدريب المسبق لأداة الترميز. هذا هو بالضبط ما كان يفتقر إليه المجال. كان يجب ضبط كل مكون في خط أنابيب التوليد، المشفر، ومفكك التشفير، ومزيل الضوضاء، معاً. يفصل VTP مشكلة توسيع أداة الترميز عن مشكلة توسيع المولد، مما يبسط البحث، وفي النهاية، النشر الإنتاجي.
الإصدار مفتوح المصدر للورقة على GitHub والأوزان المستضافة على Hugging Face يعني أن هذه الدروس يمكن تكرارها وتطبيقها مباشرة. بالنسبة للمختبرات والشركات الناشئة التي تبني نماذج توليد الصور أو الفيديو، فإن الخلاصة واضحة: توقفوا عن تحسين أدوات الترميز من أجل دقة البكسلات، وابدأوا في تدريبها لفهم محتوى ما تراه.
القوس الأوسع هنا هو شيء يعيد مجتمع الذكاء الاصطناعي اكتشافه باستمرار: أن جودة التمثيل هي رافعة أقوى من حجم النموذج أو بيانات التدريب وحدها. VTP ليس نموذجاً توليدياً بحد ذاته، إنه أداة ترميز. لكن إذا ثبتت نتائجه على نطاق واسع، فقد ينتهي به الأمر إلى توفير الأساس الذي ستعمل عليه الجيل القادم من نماذج الرؤية التوليدية.
أهم أخبار التقنية في 3 دقائق كل صباح
بريد إلكتروني واحد، كل يوم عمل، بما يهم فعلاً في الذكاء الاصطناعي والتقنية.