نماذج أقل من 200 مليون معلمة تزدهر بينما تنفق الحدود الأمامية المليارات

في مكان ما بين إطلاقات النماذج وجولات التمويل والتفاخر بالمعايير، نُشر منشور على هاغينغ فيس لا يحمل أي أخبار على الإطلاق. لا إطلاق. لا نتيجة. مجرد رسالة شكر: “لا أعرف إن كان الأمر من عندنا أو من أحدكم أو ربما منا جميعًا في وقت واحد، لكننا شهدنا مؤخرًا انفجارًا في الضبط الدقيق والتدريب المسبق للنماذج الأقل من 200 مليون معلمة، ولا يمكننا أن نكون أكثر سعادة بذلك.” وينتهي بدعوة إلى الأشخاص الذين يقومون بالعمل: “واصلوا القدوم أيها المجربون، كل هذا ممكن بفضلكم!”

المنشور لا يذكر أرقامًا ولا يستشهد بمشاريع. ولا يحتاج إلى ذلك. هاغينغ فيس هي أقرب ما تملك هذه الزاوية من الذكاء الاصطناعي إلى مكتب تعداد؛ عندما يقول فريقها إن النماذج الصغيرة في كل مكان، فهذه نقطة بيانات. الجزء المثير للاهتمام هو ما يتكون منه الانفجار، وما يقوله عن صناعة قضت عامين وهي تحدق في أعلى مخطط حجم النماذج.

نماذج صغيرة وتدريبات ضخمة

الرهان الأوضح في هذه الزاوية هو BananaMind 2 Micro: 2.9 مليون معلمة مدرّبة على 75 مليار توكن، أي نسبة تبلغ نحو 25,900 توكن لكل معلمة. بالنسبة لنموذج بهذا الحجم الصغير، تكون النسبة غير متوازنة عمدًا. الكلمة التي يستخدمها المشروع نفسه هي “مدرّب بشكل مفرط”، وهي مفيدة لأنها صادقة: الاختلال هو الاستراتيجية، وليس مصادفة. أطعم نموذجًا صغيرًا كمية هائلة من البيانات وانظر مقدار القدرة التي تبقى لكل معلمة.

ما لم ينشره المشروع هو الأداء. لا نتائج معايير، ولا نتائج تقييم، ولا مقارنات. الوعد هو “أقصى ذكاء لكل معلمة”، وفي الوقت الحالي هذه نية وليست نتيجة. ما إذا كانت 25,900 توكن لكل معلمة تشتري قدرة حقيقية هو سؤال أشار المشروع إلى تدريب في أغسطس للإجابة عنه.

التدريب المفرط ليس الأداة الوحيدة التي تحرك نتائج النماذج الصغيرة. تجربة موثقة أضافت 4.5 نقطة على MATH-500 لنموذج مكمّم باستخدام وحدة تحكم مراقبة خارجية. تبديل المحسّنات، واستخدام Muon بدلاً من AdamW، في الصندوق نفسه. النمط في كل ذلك: في هذا الحجم، المكاسب تأتي من خيارات التدريب، وليس من إضافة العتاد.

الفيضان لا يقتصر على نماذج اللغة. المنصة نفسها تستضيف حديقة نماذج للتجزئة الدلالية مدرّبة على Varied Drone Dataset، مع متغيرات CABiNet وYOLO26 من Nano إلى XLarge وأفضل نتيجة عند 78.83% mIoU. صغيرة ومتخصصة ورخيصة التشغيل: هذا هو شكل ما تشجع عليه هاغينغ فيس.

سقف واحد وسباقان

التباين مع الحدود الأمامية ليس مجازًا. قدرت مورغان ستانلي أسطول Meta AI بأكثر من 600,000 وحدة NVIDIA H100، الأكبر على وجه الأرض، موزعة على مجمعات فائقة مخصصة ويعمل فيها نحو 1,200 باحث. جلسة تدريب واحدة بهذا الحجم تستهلك ميغاواط وأسابيع. مشهد النماذج تحت 200 مليون يعمل على جزء ضئيل من ذلك: وحدة GPU واحدة، نموذج أساس، مجموعة بيانات، وإطلاق أوزان عامة عندما تعمل الأمور.

لا يوجد سباق خاطئ. ميتا تطلق أوزانًا مفتوحة أيضًا، ومختبرها يُقاس بالتبني وليس بالإيرادات. الفرق هو ما يطارده كل جانب: المختبرات تريد قدرة خام، ومشهد النماذج الصغيرة يريد قدرة لكل معلمة، والاثنان لهما اقتصاديات مختلفة جدًا. الأرقام في الجانبين لا تتشابه إطلاقًا:

الاقتصاديات مهمة لأن النماذج الصغيرة تعمل حيث يوجد المستخدمون. نموذج من 2.9 مليون معلمة لا يحتاج إلى مجمع فائق لتقديم الخدمة؛ يمكن أن يعمل على هاتف أو حاسوب محمول أو صندوق استدلال رخيص. إذا نجحت رهانات التدريب المفرط، فإن حصة كبيرة من أعباء العمل المتخصصة لن تحتاج إلى بنية الحدود الأمامية على الإطلاق. هذا هو السؤال المفتوح تحت الاحتفال.

فجوة المصداقية

كان من الممكن أن يلقى الاحتفال صدى أفضل لو نشر المزيد من هذا الانفجار نتائجه. حديقة الطائرات بدون طيار هي ما يبدو عليه الإطلاق عندما يقوم بالعمل: بطاقات النماذج، وIoU لكل فئة، ومصفوفات الارتباك، وإعدادات التدريب، كلها علنية. BananaMind 2 Micro هو ما يبدو عليه الإطلاق عندما لا يزال رهانًا. تلك الفجوة هي المسافة التي ما زال على الحركة قطعها.

منشور هاغينغ فيس لا يدّعي غير ذلك. يشكر المجربين على الإصدارات؛ ولا يدّعي أن النتائج جاهزة. بقراءة متسامحة، هو علامة فارقة مبكرة، وليس الوجهة. الرقم الذي سيحسم الجدل هو جدول تقييم، من تدريب BananaMind في أغسطس أو من العشرات القادمة من المشاريع المماثلة.

الحدود الأمامية تنفق المليارات وتظهر عملها في البيانات الصحفية. المجربون ينفقون لا شيء تقريبًا، وبعضهم لم ينشر بعد ما اشترته التوكنات التي أُنفقت. المنشور تذكير بأن اقتصاد المصدر المفتوح يعمل جزئيًا على الثقة، وأن المشاريع التي تنشر هي تلك التي يمكن لبقيتنا أن نتعلم منها. الانفجار حقيقي؛ الإيصالات لم تكتمل بعد.