كيف ضغطت بي إم دبليو 16 ألف رمز في بطاقة ذاكرة 16 جيجابايت عبر إعادة التفكير في الانتباه

ضبط السياق الطويل بدقة يواجه مشكلة في الأجهزة. تتناسب أوزان النموذج، وتتناسب المحولات، لكن حالة الانتباه الكثيف تتضخم مع كل رمز، وفي مكان ما بين 2K و 4K تنفد ذاكرة GPU. فريق في مجموعة بي إم دبليو، وهو ليس المكان الذي تتوقع منه نشر آليات انتباه جديدة، كان يعمل على هذه المشكلة لبعض الوقت.

بحثهم الأولي الجديد، الذي نُشر في يوليو 2026، يجمع بين ثلاث تقنيات: الانتباه العالمي الهرمي (HGA)، وهو بحث سابق من المجموعة نفسها؛ الانتشار العكسي المجزأ (TBPTT)؛ ونظام تخزين متدرج للذاكرة المؤقتة (KV) يدفع المفاتيح والقيم القديمة إلى الذاكرة العشوائية (RAM) أو تخزين NVMe. والنتيجة هي مسار تدريب يصل إلى 16,384 رمزًا على بطاقة Quadro RTX 5000 بسعة 16 جيجابايت، أي أربعة أضعاف ما يمكن للانتباه الكثيف التعامل معه على نفس البطاقة. والجودة، تحت القراءة الكثيفة، تكون ضمن 0.0022 نات من المحول المدرب كثيفًا.

هذا ليس اختراقًا بمعنى تحقيق خسارة جديدة رائدة. إنها إجابة هندسية عملية لسؤال يواجهه الكثير من الناس: كيف تضبط النموذج بدقة على تسلسلات أطول من بضعة آلاف من الرموز دون شراء بطاقة A100؟

ما الذي يفعله HGA بشكل مختلف

يعالج الانتباه القياسي كل زوج من الاستعلام (query) والمفتاح (key). هذه هي عنق الزجاجة. HGA هو بديل مباشر لوحدة الانتباه يختار فقط مجموعة فرعية من الرموز التاريخية لكل كتلة استعلام، باستخدام تسلسل هرمي توجيهي من مستويين. يُقسّم السياق إلى كتل من 64 رمزًا؛ وتبقى متجهات الملخص المدمجة لكل كتلة في ذاكرة VRAM. يسجل الاستعلام هذه الملخصات ويختار أفضل كتلة (top-k)، ثم يفتح تلك الكتل على مستوى المجموعة (مجموعات من 8 رموز)، وأخيرًا يقوم بتحميل K/V الدقيق للرموز المحددة فقط لحساب الانتباه الفعلي.

لا يستخدم جهاز التوجيه أي أوزان مُتعلمة، بل يسجل مفاتيح مسقطة موجودة، لذلك تقوم التدرجات بتحديث نفس إسقاطات Q/K/V/O كما في الحالة الكثيفة. الفكرة الأساسية هي أن متجهات الملخص لا تعمل أبدًا كقيم انتباه أو رموز مخرجة؛ بل توجه الاختيار فقط. الانتباه الفعلي يكون على رموز دقيقة، مما يحافظ على تعبيرية الانتباه الكامل مع تقليل مجموعة العمل بشكل كبير.

يقترن BMW ذلك بالانتشار العكسي المجزأ: يُقسّم التسلسل إلى أجزاء من 2,048 رمزًا، يعمل كل جزء للأمام والخلف بشكل مستقل، ويتم فصل ذاكرة KV الأقدم إلى ذاكرة RAM أو NVMe قبل بدء الجزء التالي. لا تعبر التدرجات حدود الأجزاء، لكن الأجزاء اللاحقة لا تزال تنتبه إلى الرموز الدقيقة السابقة عبر توجيه HGA.

كما يلخص المؤلفون في شكل معادلة: ذاكرة GPU تصبح تقريبًا مجموع النموذج والمحولات والمحسّن (optimizer)، والجزء النشط، ومجموعة العمل الموجهة، وكلها تبقى محدودة. السجل التاريخي الخارجي ينمو خطيًا مع الطول الكلي، لكن في ذاكرة RAM أو القرص، وليس في VRAM.

تقاطع الكفاءة يحدث بالفعل عند 2K

الأرقام في البحث تحكي قصة واضحة. عند 1,024 رمزًا، يكون HGA أبطأ بنحو 20% من الانتباه الكثيف (225.54 مقابل 282.32 رمز/ثانية) لأن النفقات العامة للتوجيه لم تُطفأ بعد عبر تسلسل أطول، ولا يزال الاختيار يغطي معظم التاريخ. لكن عند 2,048 رمزًا، ينعطف التقاطع: يصل HGA إلى 217.75 رمز/ثانية مقابل 207.02 رمز/ثانية للانتباه الكثيف. هذا هامش صغير فقط، لكن الاتجاه واضح. نظرًا لأن عمل الانتباه لكل رمز في HGA يظل ثابتًا تقريبًا لميزانية توجيه ثابتة، بينما ينمو عمل الانتباه الكثيف خطيًا مع السياق، تتسع الفجوة مع ازدياد طول التسلسلات.

لا يمكن للبحث قياس ذلك مباشرة بعد 2K، حيث ينفد التدريب الكثيف من الذاكرة عند 4K، لكن المنطق سليم وبيانات المسح تدعمه.

جودة المحول تصمد

درب الباحثون محولي QLoRA على نموذج Qwen3-8B مع تكميم 4-bit NF4 واستخدموا PG19 لـ 100 خطوة محسّن (optimizer step)، مع التحكم في البذور (seed) وترتيب البيانات. المتغير الوحيد كان وحدة الانتباه أثناء الضبط الدقيق. عند سياق التدريب المشترك 2K، سجل المحول المدرب بـ HGA 2.7405 نات تحت القراءة الكثيفة؛ سجل المحول المدرب كثيفًا 2.7383 نات. الفرق: 0.0022 نات. النموذج الأساسي يسجل 2.9541. الضبط الدقيق نفسه يقدم التأثير الأكبر، حيث يخفض كلا المحولين الخسارة بنحو 0.216 نات، وما إذا كنت تستخدم HGA أو الانتباه الكثيف أثناء التدريب لا يكاد يؤثر على الأوزان النهائية.

عند 4K، حيث يكون تدريب HGA فقط ممكنًا، لا تزال الفجوة صغيرة جدًا: 15.006 PPL للمدرب بـ HGA مقابل 14.966 للمدرب كثيفًا تحت القراءة الكثيفة. للأغراض العملية، هذا تشويش (noise).

الاسترجاع: لا تدهور في الأساس الكثيف

أجرت بي إم دبليو أيضًا اختبارات استرجاع على نمط RULER: passkey، multikey، و multivalue، باستخدام الانتباه الكثيف للقراءة على كلا المحولين. عند 4,096 و 8,192 رمزًا، حقق كلا المحولين استدعاء بنسبة 100% في passkey و multikey. في multivalue، أخطأ كل محول قيمة واحدة بالضبط من أصل 96 قيمة مزروعة، في خلايا مختلفة. هذه ليست إشارة ضعف.

البحث دقيق هنا: يستخدمون القراءة الكثيفة لأنها تعزل ما إذا كان الضبط الدقيق المبني على HGA قد غيّر سلوك الاسترجاع المُتعلم، بدلاً من مزجه مع استدعاء التوجيه المختار. يمكن لـ HGA نفسه أيضًا القيام بالاسترجاع والتوليد، لكن محرك الخدمة ذي الدرجة الإنتاجية، الذي يقول الفريق إنهم يبنونه، ويستهدف على الأرجح التكامل مع vLLM أو SGLang، لا يزال قيد التطوير.

التحذير الحقيقي الوحيد: التسرب السببي (causal leakage)

القيود التي تستحق الإشارة هي قناة جانبية سببية تظهر تحت التدريب الممتد. نظرًا لأن قرارات التوجيه داخل كتلة تعتمد على درجات من مواضع استعلام متعددة، يمكن لرمز سابق الحصول على معلومات غير مباشرة حول رموز لاحقة، أي الكتل تم اختيارها أو رفضها. الإشارة ضعيفة في البداية، لكن بعد 100 إلى 200 مليون رمز تدريبي، يبدأ النموذج في استغلالها للتنبؤ بالرمز التالي. البحث صريح حيال هذا: الطريقة جيدة للضبط الدقيق ضمن هذا الأفق، لكنك لن تستخدمها للتدريب المسبق من الصفر. يذكر المؤلفون وجود متغير سببي صارم قيد العمل.

ما يعنيه هذا

مجموعة بي إم دبليو ليست مختبر ذكاء اصطناعي رفيع المستوى، وهو ما قد يفسر لماذا يبدو هذا البحث كمذكرة هندسية أكثر من كونه إعلانًا عن اختراق. هذا جيد. المساهمة عملية: طريقة واضحة وقابلة للتكرار لدفع سياق التدريب إلى ما بعد حاجز VRAM باستخدام بطاقة سعة 16 جيجابايت من عام 2018. لأي شخص يقوم بالضبط الدقيق على الأجهزة الاستهلاكية أو محطات العمل، هذا مفيد فورًا.

الطبقة المدعومة بـ NVMe مطبقة ولكن لم يتم قياس أدائها في هذا البحث الأولي. مستودع المشروع على GitHub (تحت اسم HierarchicalGlobalAttention) يحتوي على الكود. إذا تحقق محرك الخدمة في مرحلة الإنتاج وتم إصلاح التسرب السببي، فقد يكون هذا النهج منافسًا لطرق مثل LongLoRA، مع ميزة إضافية أن HGA يستخدم انتباه الرمز الدقيق بدلاً من الأنماط المتفرقة المنقولة.