dots3-note من شياوهونغشو: نموذج MoE مفتوح الأوزان بـ 280 مليار معامل يُفعّل 16 مليارًا فقط

أصدرت شياوهونغشو، شركة الإنترنت الاستهلاكي الصينية، أول نموذج لها بأوزان مفتوحة. نموذج dots3-note preview، الذي طوّره استوديو dots التابع لها، مبني على تصميم خليط الخبراء (Mixture-of-Experts) بإجمالي 280 مليار معامل و16 مليارًا مُفعَّلًا لكل رمز. يقبل النصوص والصور والفيديو والصوت كمدخلات، ويكتب النصوص، ويحمل نافذة سياق تبلغ 512 ألف رمز، ويُطرح بموجب رخصة Apache 2.0.

يُعد هذا الإصدار الخطوة الافتتاحية لعائلة نماذج، لا إصدارًا لمرة واحدة. صُمم خط dots3 حول مفاضلات بين القدرة وزمن الاستجابة وتكلفة الاستدلال، وتصفه البطاقة التعريفية بأنه العضو الأخف وزنًا في العائلة. وهذا يضعه في الطرف الأرخص من فضاء التصميم الذي ترك الاستوديو لنفسه مجالًا للتوسع فيه.

أول أوزان مفتوحة من شياوهونغشو

ليست شياوهونغشو مصدرًا بديهيًا لأوزان من الفئة الحدودية (frontier-class). فهي تدير منصة استهلاكية، لا أعمال بنية تحتية للذكاء الاصطناعي. يأتي الظهور الأول في لحظة أصبح فيها نشر الأوزان المفتوحة هو القاعدة في صناعة الذكاء الاصطناعي الصينية، وتضع البطاقة التعريفية النموذج في قائمة مهام واسعة: اتباع التعليمات، والرياضيات والاستدلال المنطقي، واستخدام الأدوات وسير عمل الوكلاء متعددة الخطوات، وتوليد الأكواد، ومعالجة السياقات الطويلة، وفهم الصور والمستندات والرسوم البيانية والصوت والفيديو.

ما لا تنشره البطاقة التعريفية لا يقل أهميةً عما تعد به. أقسام التقييم للاستدلال العام والوكلاء والفهم متعدد الوسائط مدرجة، لكن لا توجد أرقام تحتها. أما التقرير الكامل فيحمل عبارة «قريبًا».

مراهنة بنسبة 17:1 على المعاملات المتناثرة

اقرأ ورقة المواصفات وسيبرز رقم واحد. مع تفعيل 16 مليارًا من أصل 280 مليارًا، تبلغ نسبة المعاملات الكلية إلى النشطة نحو 17:1، وهي درجة تناثر أكثر حدة من بعض تصاميم MoE المفتوحة الحالية. نموذج Qwen3-VL، ضمن أهم عائلات نماذج الفيديو واللغة مفتوحة الأوزان، يبلغ أقصاه في نسخة 235B-A22B، وهي أقرب إلى 10:1. عند هذا الحجم، تخضع تكلفة كل رمز لرقم الـ 16 مليارًا، لا لرقم الـ 280 مليارًا.

بنية النموذج باختصار:

تختبئ في هذه الصفوف عدة تفاصيل مهمة للتشغيل. يعمل الخليط مع 256 خبيرًا موجَّهًا بالإضافة إلى خبير مشترك واحد مع توجيه top-8. مشفّر الرؤية نفسه نموذج MoE، بإجمالي 7B مع 1.2B نشطًا، بينما مشفّر الصوت كثيف بحجم 800M. ينقسم الانتباه عبر 13 طبقة DSA و33 طبقة SWA، بنسبة 1:3 تقريبًا. أما رأس التنبؤ متعدد الرموز, وهو طبقة مشتركة واحدة بحجم 1.13B, فيغذي مسار فك تشفير تخميني اختياري.

ملحق المقاييس فارغ

هنا حيث ينبغي للإصدار أن يُبطئ اندفاع الناس. تعلن البطاقة التعريفية عن نطاق واسع من القدرات، لكنها بصيغتها المنشورة لا تقدّم أي أرقام تقييم تدعم ذلك. الادعاءات المتعلقة بالوكلاء تستحق حذرًا خاصًا: استخدام الأدوات، وسير العمل متعددة الخطوات، والمهام التي تتطلب الاستكشاف والذاكرة هي بالضبط المجالات التي يجد فيها المجتمع الأوسع باستمرار أن المقاييس تجمّل النماذج. قاس تقييمات منشورة أداء الوكلاء عند 49% في اختبار يجتازه خبراء بشريون بنسبة 95%. نافذة السياق البالغة 512 ألف رمز تستحق الشك نفسه، إذ نادرًا ما يتطابق السياق المُعلن عنه مع السياق القابل للاستخدام.

لا يعني أي من هذا أن النموذج لا يحقق ما يُتوقع منه. بل يعني أن أرقام الناشر لم تصدر بعد، وأن المقارنات مع النماذج المفتوحة المنافسة ينبغي أن تنتظر صدورها.

تشغيله: FP8، عقدة واحدة، طلبا دمج معلّقان

قصة النشر أكثر واقعية من قصة المقاييس، مع تحفظ واحد: الدعم مدمج جزئيًا. يحمل vLLM دعمًا أصليًا في فرعه الرئيسي، لذا يحتاج المستخدمون إلى بناء ليلي حديث حتى الإصدار المستقر التالي. تكاملات SGLang وTransformers موجودة فقط كطلبات دمج (pull requests)، رقم #33829 و#47844، وكلاهما ما يزال قيد المراجعة. وإلى أن يُعتمدا، توجه الوثائق المستخدمين إلى فروع طلبات الدمج تلك.

المسار الموصى به هو نقطة التحقق (checkpoint) FP8 على عقدة واحدة مزوّدة بـ 8 وحدات معالجة رسومية. يعمل مثال vLLM على ثماني وحدات H100 مع توازي الموترات 8، وتوازي الخبراء 8، وdeep_gemm كمحرك خلفي لـ MoE، وطول سياق يبلغ 262,144 رمزًا. وهذا نصف الحد الأقصى المُعلن، وتقول البطاقة إنه ينبغي ضبط السياق وفقًا للذاكرة المتاحة والتزامن وطريقة الإدخال. يدعم BF16 لكنه يتطلب ذاكرة أكبر.

مسار SGLang يُطرح كصورة Docker باسم lmsysorg/sglang:dev-dots3-note، تسحب نقطة التحقق FP8 من Hugging Face عند أول تشغيل. تغطي الخيارات المحرك الخلفي لانتباه fa3 وإعداد فك تشفير تخميني اختياري يعمل فيه رأس التنبؤ متعدد الرموز باسم NEXTN؛ وتقول الوثائق إن ذلك يمكن أن يخفض الزمن المستغرق لكل رمز مخرَج بأكثر من 50%. لا تُدعم CUDA Graphs في مرحلة prefill بعد.

للاختبار الأخف، يضيف مسار Transformers مكتبتَي torchcodec وFFmpeg للصوت والفيديو فوق الحزمة المعتادة. تُتيح حزمتا التشغيل واجهة برمجة تطبيقات متوافقة مع OpenAI، ويُفعَّل استدعاء الأدوات عبر خيار محلل خاص بـ dots. خيار قالب المحادثة enable_thinking يبدّل بين أثر استدلالي واستجابة مباشرة.

ماذا تريد منصة استهلاكية من الأوزان المفتوحة

النمط الاستراتيجي وراء هذا الإصدار هو الكفاءة. يجمع نموذج M3 من MiniMax بالفعل بين تعدد الوسائط الأصلي، وسياق مليون رمز، والبرمجة الوكيلة (agentic coding) في حزمة مفتوحة. تمتد عائلة Qwen عبر نسخ كثيفة وMoE من 30B-A3B إلى 235B-A22B. وفي الطرف الأقصى، أُطلق نموذج Inkling المفتوح بـ 975 مليار معامل بحجم 1.9 تيرابايت قبل أن تضغطه Unsloth إلى 270 جيجابايت بدقة 1-بت مع الاحتفاظ بدقة 74.2%. حتى حواجز الحماية الصغيرة تلعب اللعبة نفسها: تدّعي Mistral أن نموذج Shieldstral بحجم 3B يضاهي نماذج سلامة النصوص المفتوحة التي تصل إلى سبعة أمثاله حجمًا.

ينسجم dots3-note preview مع النمط مع شركة أم غير معتادة. منحة Apache 2.0 تُبقي الأوزان قابلة للاستخدام في المنتجات التجارية دون قيود، وقصة FP8 على عقدة واحدة توحي بأن الاستوديو يسعّر لعمليات نشر حقيقية، لا لمجرد تسجيلات لوحات الصدارة. ولأن العائلة صُممت حول نقاط متعددة للقدرة والتكلفة، فمن المرجح أن يكون هذا أول إصدارات عدة.

ما ينقص هو التقرير. نسبة التناثر 17:1 ونافذة الـ 512 ألفًا لا تصبح مثيرة للاهتمام إلا بعد أن تصبح الأرقام الكامنة خلفها علنية. وحتى ذلك الحين، يظل dots3-note preview بيانًا معماريًا من جهة غير متوقعة. وهذا وحده جدير بالملاحظة. المقاييس هي التي ستقرر ما إذا كان أكثر من ذلك.