وصفة التقطير المتسلسل من ميسترال تقلص حجم نماذج اللغات الكبيرة دون قتل التفكير المنطقي

على الورق، يبدو أحدث إصدار من فريق ميسترال للذكاء الاصطناعي وكأنه توسع روتيني في عائلة النماذج: ثلاثة أحجام (معلمات 3B و8B و14B)، وثلاثة متغيرات لكل حجم، ونموذج أساسي مدرب مسبقًا، ونموذج مضبوط بالتعليمات، ونموذج تفكير، وكل ذلك بموجب ترخيص Apache 2.0. لكن القصة الحقيقية ليست قائمة النماذج الجديدة. بل هي الطريقة المستخدمة لإنشائها.OPID يمنح وكلاء اللغة إشارة مكافأة كثيفة بما يكفي…

لقد أوضح مختبر الذكاء الاصطناعي الفرنسي بالتفصيل ما يسميه التقطير المتسلسل، وهي عملية تكرارية تقوم بتشذيب نموذج معلم أكبر تدريجيًا إلى نماذج طلاب أصغر حجمًا مع نقل المعرفة باستمرار في كل خطوة. تم تصميم هذه الطريقة، الموضحة في تقرير فني نُشر إلى جانب النماذج، لحل توتر معروف: عادةً ما تفقد النماذج الأصغر حجمًا الكثير من القدرات عند تشذيبها أو تقطيرها مرة واحدة فقط. يهاجم التقطير المتسلسل هذه المشكلة من خلال جعل عملية الضغط نفسها منهجًا دراسيًا متعدد المراحل.

كيف يعمل التقطير المتسلسل

يتضمن التقطير التقليدي للمعرفة تدريب نموذج طالب صغير لتقليد مخرجات نموذج معلم كبير. يضيف التقطير المتسلسل طبقات: يتم أولاً تشذيب المعلم إلى حجم متوسط، ثم يصبح هذا النموذج المتوسط هو المعلم للنموذج الطالب التالي الأصغر. تتكرر العملية حتى الوصول إلى الحجم المستهدف. في كل مرحلة، لا يرث الطالب توقعات المعلم فحسب، بل يرث أيضًا الأولويات الهيكلية من خطوة التشذيب، والتي يجادل فريق ميسترال بأنها تساعد في الحفاظ على التبعيات طويلة المدى ومسارات التفكير المنطقي التي تميل التقطير أحادي الخطوة إلى انهيارها.

"يتيح التقطير المتسلسل الحفاظ على مجموعة أوسع من القدرات، بما في ذلك الفهم متعدد الوسائط والتفكير متعدد الخطوات، والتي عادةً ما تكون أولى ضحايا الضغط العدواني،" حسبما جاء في التقرير الفني.

تم اشتقاق نموذجي 3B و8B من إصدار 14B باستخدام هذه الطريقة. تمت تهيئة نموذج 14B نفسه من معلم أكبر وغير معلن. تتضمن الأحجام الثلاثة متغيرًا قادرًا على فهم الصور، وهي ميزة نادرًا ما تُرى في نطاق 3B بموجب ترخيص مسموح.M3D وReal-Guidance يجلبان تقطير مجموعة البيانات إلى…

لماذا يعود حجم المعلمات إلى الواجهة

لقد تذبذب السرد الصناعي حول أعداد المعلمات بشكل كبير خلال الـ 18 شهرًا الماضية. بينما كانت حقبة 2023-2024 تهيمن عليها سباق "الأكبر هو الأفضل" الذي أنتج نماذج مثل Llama 3.1 405B وDeepSeek-V3، اكتسبت حركة مضادة زخمًا: يتم تحسين النماذج التي تتراوح بين 1B و14B معلمة للنشر على الأجهزة، والاستدلال الخاص، والتطبيقات الحساسة من حيث التكلفة. تستهدف كل من Phi-4 من مايكروسوفت (14B)، وGemma 2 من جوجل (2B, 27B)، والآن Ministral 3 هذا المجال المتخصص.نموذج الذكاء الاصطناعي الخاص بك يدعي أنه يقرأ مليون…

المتغير المنطقي من Ministral 3 بحجم 3B، الذي تم اختباره داخليًا بواسطة ميسترال، يتطابق أو يتجاوز أداء Mistral Small 3.1 في العديد من معايير الرياضيات والمنطق، على الرغم من كونه خمس الحجم. هذا النوع من الكفاءة هو ما صمم التقطير المتسلسل لتقديمه، ويقدم دليلاً محتملاً للمختبرات الأخرى التي تتطلع إلى ضغط أكبر نماذجها دون البدء من الصفر.نموذج Kog's Laneformer 2B يحقق 3000 رمز في الثانية بجعل…

فهم الصور على الحافة

ربما يكون العنصر الأكثر إثارة للدهشة في هذا الإصدار هو أن حتى متغير 3B يدعم إدخال الصور. قامت ميسترال بدمج مشفر رؤية متوافق مع الهندسة المعمارية الكثيفة للنموذج، مما يتيح مهامًا مثل تحليل المستندات، وقراءة الرسوم البيانية، والإجابة على الأسئلة المرئية الأساسية. بالنسبة للمطورين الذين يعملون على المساعدين الذين يعملون بالذكاء الاصطناعي على الأجهزة أو معالجة المستندات الخاصة، فإن هذا يزيل عائقًا كبيرًا أمام الأجهزة: لا حاجة لرحلة ذهاب وإياب إلى السحابة من أجل الفهم البصري الأساسي.

اختيار الترخيص، Apache 2.0، جدير بالملاحظة بنفس القدر. بينما أصدرت ميسترال العديد من النماذج بموجب هذا الترخيص من قبل، فإن الجمع بين الحجم الصغير، وقدرة الرؤية، والترخيص المسموح يجعل متغير 3B مرشحًا قويًا للأنظمة المدمجة، والنماذج الأولية، والتطبيقات حيث يكون الامتثال للترخيص بنفس أهمية الأداء.

التمركز التنافسي

تدخل سلسلة Ministral 3 مجالًا مزدحمًا بالفعل بنماذج صغيرة قادرة. تقدم Phi-4 من مايكروسوفت تفكيرًا قويًا عند 14B ولكنها تفتقر إلى قدرات الرؤية الخاصة بـ Ministral 3 بنفس الحجم. نموذج Gemma 2 من جوجل، المتوفر بأحجام متعددة، مرخص بموجب Apache 2.0 ولكنه لا يتضمن رؤية بشكل أصلي. يتضمن Llama 3.2 من ميتا متغيري 1B و3B ولكنه يحد من الرؤية لنموذج 11B الأكبر.كيف تقوم نماذج الذكاء الاصطناعي المحلية مثل Gemma و…

كما أن نهج التقطير المتسلسل من ميسترال يميزها على صعيد المنهجية. بينما جربت مختبرات أخرى التشذيب (نماذج Sparse من جوجل، ضغط Coreml من أبل)، نشر القليل منها خط أنابيب متعدد المراحل قابل للتكرار يحقق مكاسب ثابتة في كل مستوى حجم. إذا تعممت هذه التقنية إلى ما هو أبعد من بنية ميسترال، فقد تؤثر على كيفية تعامل مجتمع المصادر المفتوحة الأوسع مع ضغط النماذج.أولمو-إيفال من Ai2 يمنح مطوري LLM ميكروسكوبًا لكل نقطة تفتيش

السؤال المفتوح

السؤال الوحيد الذي لم يجيب عليه التقرير الفني بشكل كامل هو مقدار الأداء الذي يعزى إلى التقطير المتسلسل مقابل جودة نموذج المعلم الأولي. لم تفصح ميسترال عن حجم أو بنية المعلم المستخدم لتغذية نموذج 14B، مما يجعل من الصعب على الباحثين الخارجيين عزل مساهمة الطريقة. هذا الغموض نموذجي لإصدارات النماذج المتطورة، لكنه يترك مجالًا للتحقق المستقل، خاصة وأن لوحة صدارة النماذج الصغيرة أصبحت أصلًا استراتيجيًا لمختبرات الذكاء الاصطناعي التي تتنافس على جذب انتباه المطورين.

ما هو واضح هو أن ميسترال قد أطلقت طلقة جديدة في سباق تسليح النماذج الصغيرة. يقدم التقطير المتسلسل وصفة قابلة للتكرار، والترخيص غير معقد، وأصغر متغير يحتوي على قدرات كانت تتطلب حتى وقت قريب عشرة أضعاف عدد المعلمات. بالنسبة للمطورين الذين يعملون في ظل قيود حسابية وذاكرة، قد تكون هذه هي الأنباء الأكثر عملية هذا الربع.أفق التحقق: لماذا أصبح التحقق من وكلاء البرمجة أصعب من…