تحسين التدريب
Unsloth تدّعي تسريع تدريب نماذج اللغات الكبيرة 5 مرات باستخدام نوى تريتون الجديدة والتجميع التلقائي
يقدم أحدث تحديث من Unsloth نوى تريتون المدمجة لـ QK RoPE لتسريع التضمينات الدوارة (rotary embeddings) بمقدار 2.3 مرة، وفهرسة int64 للسياقات الطويلة، وتجميعًا تلقائيًا خالٍ من الحشو. تظهر المقاييس تسريعًا في الإنتاجية بمقدار 1.7-3 مرات على Qwen3-32B دون فقدان الدقة.
Emmanuel Fabrice Omgbwa Yasse بمساعدة الذكاء الاصطناعي
2026-07-16 · قراءة 3 دقائق
أصدرت Unsloth، مكتبة الضبط الدقيق مفتوحة المصدر الشهيرة بين ممارسي نماذج اللغات الكبيرة، تحديثًا رئيسيًا تدّعي أنه يمكنه تقديم سرعات تدريب أسرع تصل إلى 5 مرات مع تقليل استخدام ذاكرة الوصول العشوائي للفيديو بنسبة 30% إلى 90%. تأتي التحسينات من مجموعة من نوى تريتون المخصصة ونظام تجميع تلقائي ذكي تقول الفريق إنه يعمل مع أي محطة انتباه خلفية، FlashAttention 3، xFormers، أو SDPA، وأي عائلة نماذج.
الإضافة الرئيسية هي نواة QK RoPE المدمجة. سابقًا، كان كل استعلام ومفتاح يحتاجان إلى نواتي تريتون منفصلتين؛ التطبيق الجديد يدمجهما في واحدة، مما يتيح RoPE بطول متغير. في المقاييس الصغرى، تكون النواة المدمجة أسرع بمقدار 2.3 مرة على أطوال السياق الأطول وأسرع بمقدار 1.9 مرة على الأقصر. النواة بالكامل في المكان (inplace)، مما يلغي عمليات الاستنساخ والنقل المتجاورة ويقلل ضغط ذاكرة GPU بشكل أكبر.
عالجت Unsloth أيضًا قيدًا طويل الأمد لتدريب السياقات الطويلة: أخطاء تجاوز حدود CUDA أثناء تشغيل 500 ألف رمز بسبب فهرسة int32 الافتراضية في Triton وCUDA. يقدم الإصلاح ثابت وقت التجميع LONG_INDEXING الذي يسمح لمجمع Triton بتخصيص النوى للسياقات الأقصر والأطول دون عبء إضافي.
"بتغيير نسبة 50% من التسلسلات القصيرة، وبافتراض أن لدينا المزيد من التسلسلات القصيرة، على سبيل المثال 20% من التسلسلات الطويلة و80% من التسلسلات القصيرة، نحصل على تدريب أسرع بمقدار 5 مرات،" كتب فريق Unsloth في الإصدار. "هذا يعني أن سرعة التجميع تعتمد على عدد الصفوف القصيرة في مجموعة البيانات الخاصة بك، كلما زادت القصيرة، كلما كان أسرع."
نظام التجميع التلقائي (مفعل افتراضيًا) يقوم تلقائيًا بتجميع عدة تسلسلات قصيرة في موتر أحادي البعد واحد، مع الاحتفاظ ببيانات وصفية لطول التسلسل لتجنب تسرب الانتباه بين العينات. النتيجة: تحسن في الإنتاجية بمقدار 1.7-3 مرات في تشغيل ضبط دقيق لـ Qwen3-32B على مجموعة بيانات yahma/alpaca-cleaned بأحجام دفعات مختلفة، مع بعض التكوينات التي تشهد 5 مرات أو أكثر. تؤكد Unsloth أن خسائر التدريب تتطابق تمامًا مع تشغيل بدون تجميع.
تظهر نتائج المقاييس التي نشرها الفريق أنه بدون تجميع، يمكن أن تشكل رموز الحشو ما يقرب من 50% من الدفعة بحجم دفعة 8. مع التجميع، يظل استخدام الرموز الصالحة قريبًا من 100% بغض النظر عن حجم الدفعة. انخفض استخدام الذاكرة لـ Qwen3-8B وQwen3-32B بنسبة 60% بينما تضاعفت الإنتاجية.
يعمل التحديث لجميع طرق التدريب، الضبط الدقيق الكامل، التدريب المسبق، والتعلم المعزز، وهو متوافق مع الإصدارات السابقة مع وحدات معالجة رسومية أقدم مثل Tesla T4 وRTX 2080، بالإضافة إلى الأحدث مثل H100 وB200. يحتاج المستخدمون فقط إلى تحديث Unsloth للحصول على التجميع بدون حشو افتراضيًا؛ يمكن تمكين التجميع الصريح باستخدام packing = True في SFTConfig.
يبني هذا الإصدار على عمل Unsloth السابق على نوى RoPE من ديسمبر 2023 وطلب سحب من المجتمع في مارس 2024 جعل التدريب من البداية إلى النهاية أسرع بنسبة 1-2% عن طريق تحسين النواة لإطلاق كتل لمجموعات من الرؤوس.
Unsloth، التي وضعت نفسها كبديل خفيف لمدرب Hugging Face الكامل للضبط الدقيق، تدّعي الآن دعم نماذج بما في ذلك عائلة Qwen3، Llama 3.1، وغيرها. تم تحديث دفاتر المكتبة على Google Colab تلقائيًا.
أهم أخبار التقنية في 3 دقائق كل صباح
بريد إلكتروني واحد، كل يوم عمل، بما يهم فعلاً في الذكاء الاصطناعي والتقنية.