Unsloth تضغط نموذج Inkling من 975 مليار معامل إلى 270 جيجابايت مع احتفاظ بنسبة 74% من الدقة

نموذج Inkling من مختبرات Thinking Machines، وهو نموذج مفتوح الأوزان بمعاملات تبلغ 975 مليارًا وبسياق يصل إلى مليون رمز، وصل هذا الأسبوع بموجب ترخيص Apache 2.0. وواجه نفس العقبة التي تواجهها كل النماذج الرائدة: حيث تشغل الأوزان الكاملة بدقة BF16 مساحة 1.9 تيرابايت على القرص. كان تشغيله محليًا يعني الحاجة إلى مركز بيانات، أو هذا ما كان عليه الحال.

لدى Unsloth، أداة التكميم والتدريب مفتوحة المصدر، إجابة مختلفة. تضغط طريقته الديناميكية GGUF نموذج Inkling إلى 270 جيجابايت (بتنسيق UD-IQ1_S) و285 جيجابايت بدقة 1-بت و317 جيجابايت بدقة 2-بت، مع احتفاظ بنسبة 74.2% و81% من دقة أفضل 1% على التوالي. الأرقام الرئيسية، 86% أصغر بدقة 1-بت، و82% أصغر بدقة 2-بت، تبدو وكأنها فقدان عدواني للقدرة. لكن السلوك الفعلي، وفقًا لتحليل Unsloth المنشور، أكثر دقة.

كيف يحافظ التكميم الديناميكي على الأداء

يطبق التكميم القياسي دقة موحدة عبر جميع الطبقات. طريقة Unsloth انتقائية: فهي تحدد الطبقات التي تسبب فيها الدقة المنخفضة ضررًا غير متناسب (مثل إسقاط ffn_down الذي يسبب خطأً أكبر بعشر مرات إذا تم تكميمه) وتحافظ على تلك الطبقات بتنسيقات ذات بتات أعلى. والنتيجة هي مزيج من دقة 8-بت و6-بت و1-بت داخل نفس ملف النموذج.

تُظهر مقاييس اختلاف Kullback-Leibler (KL) من Unsloth أن مزيج التكميم 8/6-بت يحقق جذر متوسط مربع الخطأ (RMSE) بقيمة 1e-4 أو أقل في إزالة التكميم، وهو ما لا يمكن تمييزه فعليًا عن تشغيل BF16 الكامل باستثناء الاختبارات الإحصائية الأكثر صرامة. في المقابل، فإن تكميم 1-بت ينحرف بالفعل، لكن الانحراف يتركز في التوليد الإبداعي (القصائد، النثر المتنوع) بدلاً من الاستدعاء الحقائقي. عند سؤاله عن نتيجة 2+2، لا يجيب نموذج Inkling بدقة 1-بت أبدًا بـ5.

"يوضح هذا أنه إذا قمنا بتقليص حجم النموذج بنسبة 82% باستخدام طريقة Unsloth Dynamic GGUF الخاصة بنا، فهذا لا يعني أن النموذج يصبح أقل 'ذكاءً' بنسبة 82%، بل يُرى فقط تدهور بنسبة ~18%."، ملاحظات إصدار Unsloth

متطلبات الأجهزة للاستدلال

يتناسب تكميم 1-بت مع أجهزة بحجم 290 جيجابايت على الأقل من الذاكرة الإجمالية، مثل Mac Studio Ultra أو محطة عمل متعددة وحدات معالجة الرسوميات (GPU) مع ذاكرة نظام كبيرة. بينما يتطلب مزيج 6/8-بت، رغم دقته الأعلى، ما يقرب من تيرابايت.

تشغيل Inkling محليًا

توفر Unsloth مسارين للاستدلال المحلي. الأول هو Unsloth Studio، وهي واجهة ويب مفتوحة المصدر تتعامل تلقائيًا مع تفريغ GPU والكشف عن وحدات معالجة الرسوميات المتعددة وتنزيل النماذج. يمكن لمستخدمي macOS وWindows وLinux التثبيت عبر أمر طرفية والبحث عن "Inkling" في علامة تبويب Studio Chat.

المسار الثاني هو llama.cpp، باستخدام طلب سحب (PR) محدد من GitHub الخاص بـ Unsloth. يدعم سير العمل الاستدلال باستخدام المعالج فقط (CPU-only) وApple Metal، مع تنزيل تلقائي للنموذج عبر llama-cli أو التنزيل اليدوي من Hugging Face. توصي Unsloth بتكميم UD-IQ1_M كأفضل توازن بين سهولة الوصول والدقة.

نموذج Inkling نفسه يدعم كلاً من وضعي التفكير وعدم التفكير، مع معلمة "جهد التفكير" من 0.00 (بدون) إلى 0.99 (أقصى). كما يتعامل مع استدعاء الأدوات المتداخلة وتحليل الصوت، حتى في تكميم 1-بت، وفقًا لعروض Unsloth.

سياق القياسات المعيارية

نتائج Inkling الأولية بدقة كاملة تضعه بين أفضل النماذج مفتوحة الأوزان. على اختبار AIME 2026 يصل إلى 97.1%، وعلى SWE-bench Verified 77.6%، وعلى GPQA Diamond 87.2%. أرقام الاحتفاظ بدقة النسخ المكممة، 74.2% عند 1-بت و81% عند 2-بت، تعني أن حتى أصغر متغير يتفوق على العديد من النماذج الأصغر في مهام الاستدلال والبرمجة.

طريقة Unsloth ليست تخمينية: ملفات GGUF متاحة على Hugging Face، ومستودع Inkling-GGUF يتضمن النصوص البرمجية الكاملة للتكميم ورموز القياسات المعيارية. سلسلة الأدوات نفسها مفتوحة المصدر على GitHub.