نموذج نيموترون-4 من إنفيديا سريع ومفتوح ويستهدف الفجوة بين لاما وجي بي تي

أصدرت إنفيديا اليوم نموذج نيموترون-4، وهو نموذج لغوي مفتوح الأوزان بمتغيرات 8B و34B. تدعي الشركة أن إصدار 34B يسجل ضمن نقطتين من جي بي تي-4 على معيار MMLU مع استخدام 30% أقل من الحوسبة أثناء الاستدلال. تم إطلاق النموذج بموجب ترخيص تجاري متسامح.

تقع الأرقام مباشرة في جزء مثير للجدل من سوق النماذج المفتوحة. تتجمع نماذج لاما 3.3 70B من ميتا، وميسترال لارج، وكيوين 2.5 72B في نطاقات دقة مماثلة. ما يميز نيموترون-4 هو ادعاء إنفيديا حول تكلفة الاستدلال: 30% أقل من الحوسبة لنفس المهمة، مُدرَّبة على مزيج من البيانات الاصطناعية والمُنقَّحة من الويب.

الفجوة التي تهاجمها إنفيديا

يواجه النظام البيئي للنموذج المفتوح مشكلة معروفة. يمكنك اختيار نموذج صغير وسريع مثل كيوين 2.5 7B الذي يعمل على GPU واحدة ولكنه يرتكب أخطاء استدلالية في المهام متعددة الخطوات. أو يمكنك اختيار نموذج كبير وقادر مثل لاما 3.3 70B الذي يسجل نتائج عالية في المعايير ولكنه يحتاج إلى عدة GPU واستدلال دفعي مكلف. لا يوجد الكثير في الوسط يقوم بالأمرين معًا بشكل جيد.

يجلس نيموترون-4 34B في تلك الشريحة الوسطى. إذا كان ادعاء MMLU صحيحًا تحت التحقق المستقل، فإنه يصبح واحدًا من أقوى النماذج المفتوحة في حجمه. والإصدار الأصغر 8B يعطي الفرق خيارًا أرخص لمهام التوجيه الأبسط.

أظهر إصدار إنفيديا للتضمين في وقت سابق من هذا العام بالفعل أن الشركة تفهم هذه الطبقة: قوية بما يكفي لتكون مفيدة، ورخيصة بما يكفي لنشرها على نطاق واسع. يوسع خط نيموترون-4 هذا المنطق إلى الاستدلال.

المنطقة غير المحددة

لا يحدد المصدر إصدار جي بي تي-4 الذي تقارن به إنفيديا، ولا ما إذا كانت فجوة النقطتين على تقسيم MMLU الكامل أو على مجموعة فرعية. هذا مهم لأن نتائج جي بي تي-4 تختلف حسب الإصدار وظروف الاختبار الدقيقة. فجوة نقطتين على معيار MMLU القياسي تعادل حوالي 1-2 نقطة مئوية حسب المرجع، وهي حقيقية للمقارنات، لكنها ليست تحويلية.

السؤال الأكبر هو كيف يصمد نيموترون-4 في المهام الوكيلية. تشير أبحاث إنفيديا الحالية حول تكاليف الاستدلال الوكيلي إلى أن الشركة كانت تفكر في هذه المشكلة لبعض الوقت. إذا كانت التوفيرات بنسبة 30% في الحوسبة حقيقية على نطاق واسع، فإن الفرق التي تدير آلاف حلقات الوكيل يوميًا سترى اختلافات كبيرة في التكلفة.

ما ليس في الإعلان: معايير الطرف الثالث، أو أرقام الكمون المباشر، أو مجموعة تقييم مفتوحة. سيحتاج المتبنون الأوائل إلى إعادة إنتاج النتائج بأنفسهم.

أين يتناسب

الترخيص التجاري المتسامح هو الإشارة الرئيسية. إنفيديا لا تحاول حبس نيموترون-4 خلف نقطة نهاية مملوكة بالطريقة التي تحبس بها أوبن إيه آي أو أنثروبيك أفضل نماذجها. إنها تراهن على أن اعتماد الأوزان المفتوحة يغذي بقية نظامها البيئي من الأجهزة والبرمجيات، الرقائق، إطار نيمو، تحسينات كودا.

بالنسبة للفرق التي تدير بالفعل لاما أو ميسترال، فإن مسار الترحيل مباشر: نفس البنية التحتية للتقديم، أوزان مختلفة. السؤال هو ما إذا كان نيموترون-4 يفوز فعليًا في الدقة لكل رمز مميز في الممارسة العملية، أم فقط على لوحة متصدرة للمعايير.

ادعاء توفير 30% من الحوسبة، إذا كان دقيقًا، يعطي إنفيديا سردًا واضحًا: استدلال أرخص دون التخلي عن القدرة. هذا عرض أقوى من مكاسب MMLU الهامشية. الفرق التي تعمل على تحسين التكلفة ستقيس هذا النموذج مقابل أعباء عملها الخاصة قبل التبديل، ويبدو أن إنفيديا تدرك ذلك.