ترميزات LFM2.5 تدعم حجة النماذج الصغيرة: أسرع بـ3.7× من ModernBERT على وحدة المعالجة المركزية

منذ فترة، كانت الخطوة الافتراضية في معالجة اللغة الطبيعية هي توجيه نموذج توليدي نحو المشكلة ودفع ثمن هذا الامتياز. إصدار Liquid AI الجديد يطرح حجة أكثر هدوءًا: المهام التي تعمل على مدار الساعة, توجيه النوايا، وفحص السياسات، ومسح المعلومات الشخصية القابلة للتعريف (PII)، وتصنيف النصوص, تُدار بشكل أفضل بواسطة ترميز صغير يعمل على وحدة معالجة مركزية لجهاز محمول.

ترميزات LFM2.5 مفتوحة الأوزان ومتوفرة اليوم على Hugging Face، وهي مبنية من الهياكل الأساسية لفك الترميز LFM2.5 من Liquid AI. تحوّل الشركة كل مفكك ترميز سببي إلى ترميز ثنائي الاتجاه وتضع النتيجة في مواجهة فئة النماذج التي حافظت على هذه الأرض منذ BERT. الطرح بسيط: لست بحاجة إلى نموذج بمليارات المعلمات ليقرر ما إذا كانت تذكرة الدعم تذكر استردادًا أو ما إذا كان العقد يحتوي على بند محظور.

أفضلية سرعة تبلغ 3.7× عند أقصى نافذة السياق

يدعم كل من LFM2.5-Encoders وModernBERT سياقًا يبلغ 8,192 رمزًا، لذا تمتد المقارنة عبر النطاق الكامل. على وحدة المعالجة المركزية، تظهر الفجوة هنا. يستغرق ModernBERT-base أكثر من دقيقة ونصف لكل تمرير أمامي عند أقصى طول. يؤدي LFM2.5-Encoder-230M نفس التمرير في حوالي 28 ثانية. تصفها Liquid AI بأنها أسرع بنحو 3.7×، وتقول إن نموذج 230M هو الأسرع في المقارنة عند كل طول تسلسل، متقدمًا حتى على ModernBERT-base الأصغر في المدخلات القصيرة.

الإنتاجية تروي القصة نفسها بالعكس. مع ازدياد طول المدخلات، تنخفض إنتاجية ModernBERT بشكل حاد، بينما ترتفع منحنيات LFM2.5 إلى نطاق متوسط قبل أن تتناقص تدريجيًا. النتيجة العملية، وفقًا للشركة: يمكن فحص أو تصنيف عقد كامل، أو نصًا حرفيًا، أو سلسلة دعم طويلة في أقل من 30 ثانية على وحدة معالجة مركزية لجهاز محمول. هذا هو الفرق بين مهمة تشغّلها بشكل انتقائي ومهمة يمكنك تحمل تكلفة تشغيلها على كل شيء.

جدول المعايير: 14 نموذجًا و17 مهمة

ضبطت Liquid AI 14 نموذجًا على 17 مهمة مستمدة من GLUE وSuperGLUE والتصنيف متعدد اللغات، مع الإبلاغ عن المتوسط عبر خمس بذور مستبقاة لكل منها. يحتل LFM2.5-Encoder-350M المرتبة الرابعة بين 14 نموذجًا. النماذج الثلاثة التي تسبقه جميعها أكبر حجمًا، بما في ذلك نموذج واحد بـ3.5 مليار معلمة، أي ما يقارب عشرة أضعاف حجمه. نموذج 230M يتفوق على ModernBERT-base وعلى كل نموذج EuroBERT في الجدول رغم كونه أصغر من معظمها. كما يسجل كلاهما درجات أعلى من نماذج LFM2.5-Retrievers الخاصة بشركة Liquid AI الصادرة الشهر الماضي.

هذه أرقام الشركة نفسها، والإطار والنتائج الخام مفتوحة المصدر، لذا يمكن التحقق من الجدول بدلًا من التسليم به.

لماذا يتفوق ترميز 230M على نموذج لغوي كبير توليدي في المهام المستمرة

الجانب الاقتصادي هو النقطة المحورية. الترميز المضبوط بدقة أصغر وأسرع وأرخص بكثير في التشغيل من نموذج لغوي كبير توليدي، ويناسب وحدات المعالجة المركزية التي تمتلكها الشركة بالفعل، وفقًا لـ Liquid AI. البنية المعمارية هي التي تستحق الفضل في هذه الكفاءة. يتم تهيئة كل ترميز انطلاقًا من أحد الهياكل الأساسية لفك الترميز LFM2، ثم يُجعل ثنائي الاتجاه عبر ثلاثة تغييرات: قناع انتباه ثنائي الاتجاه، والتفافات قصيرة غير سببية مبطنة بشكل متماثل، وهدف لغة مقنّع يخفي 30% من الرموز أثناء التدريب.

التدريب يجري على مرحلتين. الأولى تبني الكفاءة اللغوية العامة على مجموعة نصوص ويب كبيرة بسياق يبلغ 1,024 رمزًا. والثانية تمدد السياق إلى 8,192 رمزًا على مزيج البيانات الكامل، وهو ما تقول الشركة إنه يعزز الكفاءة الوقائعية والقانونية ومتعددة اللغات. المجال المستهدف واضح: مهام الفهم عالية الحجم، التصنيف، التوجيه، الاستخراج، والتقييم، التي تعمل باستمرار ويجب أن تظل منخفضة التكلفة.

على وحدة معالجة الرسومات، يستمر النمط نفسه بهامش أصغر. يتصدر ModernBERT-base في النطاق الأقل من حوالي 1,000 رمز على وحدة معالجة الرسومات من Apple، بينما تتولى نماذج LFM2.5 الصدارة من حوالي 2,000 رمز فما فوق. أرقام وحدة المعالجة المركزية هي حيث تستقر الحجة: هذه المهام تعمل طوال اليوم، عادةً على وحدة المعالجة المركزية.

ما يمكنك بناؤه، وما تكلفة البدء

أصدرت Liquid AI خمس عروض توضيحية، كل منها في مساحة Hugging Face بوحدة معالجة مركزية فقط. توجيه المطالبات بنمط Zero-shot يقيّم مطالبة كاملة مقابل مسارات توجيه مكتوبة كنص حر في تمرير واحد. فحص السياسات يتحقق من النص مقابل قواعد الشركة، وهي أيضًا نص حر، ويقيّم كل رمز مقابل كل قاعدة. التدقيق الإملائي يصحح الأخطاء الإملائية رمزًا برمز. كشف المعلومات الشخصية القابلة للتعريف (PII) يزيل 40 نوعًا من المعلومات الشخصية عبر 16 لغة. عرض توضيحي إضافي يحوّل الترميز إلى روبوت محادثة يعمل بالانتشار المقنّع، يولّد النص عبر إزالة القناع التكرارية بدلًا من التوليد من اليسار إلى اليمين.

تكلفة الدخول هي بضعة أسطر من كود transformers. حمّل النموذج باستخدام AutoModelForMaskedLM للتنبؤ بالرموز المقنعة، أو حمّل الجسم باستخدام AutoModel وأرفق رأسك الخاص للتصنيف، أو تصنيف الرموز، أو الانحدار، أو الاسترجاع. الضبط الدقيق يتم لكل مهمة: تشير الشركة إلى نموذج 350M عندما تكون الدقة هي الأهم، وإلى 230M للأجهزة الأكثر تقييدًا أو الإنتاجية الأعلى، مع برنامج تعليمي يغطي المستندات القانونية الطويلة بسياق 8K.

الترميزات لم تختفِ حقًا، بل خرجت من الموضة بجانب النماذج التوليدية. ما أضافته Liquid AI هو الشيء الذي دفع الفرق نحو النماذج التوليدية في المقام الأول: السياق الطويل والاستدلال السريع. النتيجة هي فئة نماذج تنافس على المقاييس التي يشعر بها الناس فعليًا، زمن الاستجابة والتكلفة لكل مستند، مع إصدار الحجمين كأوزان مفتوحة على Hugging Face.