الرياضيات وراء التسريع: كيف يخفي الترميز التخميني زمن الاستجابة دون تغيير المخرجات

تولد معظم نماذج اللغة الكبيرة النص رمزًا واحدًا في كل مرة. يتم توقع كل رمز جديد من كل ما سبقه، مما يعني تمريرة أمامية واحدة لكل رمز. على وحدات معالجة الرسومات الحديثة، نادرًا ما تكون المعالجة هي عنق الزجاجة، بل هي عرض النطاق الترددي للذاكرة. كل تمريرة أمامية تقرأ أوزان النموذج بالكامل من الذاكرة، وبالنسبة لرمز واحد، فهذه قراءة كثيرة مقابل كتابة قليلة جدًا. يغير الترميز التخميني النسبة: فهو يسمح للنموذج بتخمين عدة رموز للأمام، ثم يتحقق من الدفعة بأكملها في تمريرة واحدة. عندما تكون التخمينات صحيحة، يزداد الإنتاج الفعال. عندما تكون خاطئة، لا يُفقد شيء، فعينة الرفض تضمن بقاء توزيع المخرجات مطابقًا للترميز القياسي.

تم إضفاء الطابع الرسمي على هذه التقنية في عامي 2022 و2023 من قبل باحثين في Google DeepMind، وأصبحت منذ ذلك الحين ميزة قياسية في محركات الاستدلال المحلية. المقايضة الأساسية هي بين تكلفة المسودة ومعدل القبول. مسودة رخيصة تخمن بشكل سيء يمكنها في الواقع إبطاء الأمور. مسودة باهظة الثمن تخمن ببراعة يمكنها أن تخسر في وقت الساعة الفعلي إذا فاقت التكلفة العامة التمريرات المحفوظة.

ضمان عينة الرفض

خطوة التحقق هي ما يجعل الترميز التخميني خاليًا من الخسائر رياضيًا. بعد أن ينتج نموذج المسودة سلسلة من الرموز المرشحة، يقوم النموذج المستهدف بتقييم كل منها مقابل توزيعه الشرطي الخاص. دع p(x) هو الاحتمال الذي يعينه النموذج المستهدف للرمز x و q(x) هو الاحتمال الذي عينته المسودة. يتم قبول الرمز مع احتمال min(1, p(x) / q(x)). عندما يكون الهدف واثقًا على الأقل مثل المسودة، يمر الرمز دائمًا. عندما يكون أقل ثقة، يتناسب القبول مع الاتفاق بين التوزيعين. عند الرفض الأول، يتوقف التحقق. يتم إعادة أخذ عينة من ذلك الرمز من التوزيع المتبقي، ويتم تجاهل كل رمز مسودة لاحق لأنه تم تكييفه على بادئة لم تعد صالحة.

النتيجة: المخرجات متطابقة إحصائيًا مع ما كان سينتجه الترميز التلقائي القياسي. ليست متطابقة تقريبًا، بل متطابقة، تتبعًا بتتبع. الاختلاف الوحيد هو عدد التمريرات المطلوبة للوصول إلى هناك.

العائد المتوقع وصيغة التسريع

إذا تم قبول كل رمز مسودة مع احتمال α واقترحت المسودة ما يصل إلى γ رمزًا لكل خطوة، فإن الرموز المتوقعة لكل تمريرة تحقق هي (1 − α^(γ+1)) / (1 − α). لـ γ = 4 و α = 0.7، ينتج عن ذلك حوالي 2.8 رمزًا لكل تمريرة، وهو زيادة محتملة في الإنتاجية بمقدار 2.8× مقارنة بالترميز القياسي قبل حساب تكلفة المسودة. عند α = 0.9، يقترب العائد المتوقع من γ+1 الكامل.

التسريع المحقق في وقت الساعة الفعلي أقل لأن المسودة ليست مجانية. دع c هي تكلفة خطوة مسودة واحدة نسبة إلى تمريرة أمامية واحدة للنموذج المستهدف. تصبح الصيغة:

speedup = (1 − α^(γ+1)) / ((1 − α) × (γc + 1))

هذا هو المكان الذي تتباعد فيه طرق الترميز التخميني المختلفة. بحث n-gram الخالص له c صفر تقريبًا ولكن α متواضع. مسودة عصبية مثل EAGLE-3 لها c أعلى ولكن α أعلى. أيهما يفوز يعتمد على عبء العمل، والأجهزة، وطول التسلسل.

استراتيجيات المسودة الرئيسية: خمسة مناهج في الممارسة

ينقسم المشهد إلى عائلتين عريضتين: المسودات القائمة على النماذج والطرق القائمة على الأنماط. تستخدم المسودات القائمة على النماذج شبكة عصبية ثانية لتقريب توقعات النموذج المستهدف. أبسط شكل هو نموذج مسودة مستقل، وهو نموذج لغة أصغر بكثير تم تدريبه لتقليد توزيع الهدف. التكلفة الرئيسية هي أنه يجب تحميله جنبًا إلى جنب مع النموذج المستهدف، مما يضاعف متطلبات الذاكرة للمسودة وحدها. يربط EAGLE-3 وحدة تنبؤ خفيفة الوزن تعمل على التنشيطات المخفية للنموذج المستهدف، مما يقلل التكلفة العامة بشكل كبير. يذهب DFLASH إلى أبعد من ذلك باستخدام نموذج نشر كتلي يتنبأ بكتلة كاملة من الرموز المستقبلية في تمريرة أمامية واحدة، ثم يتحقق من الكتلة كوحدة واحدة. يضيف توقع الرموز المتعددة (MTP) رؤوس تنبؤ مساعدة للنموذج المستهدف نفسه أثناء التدريب، بحيث تأتي المسودة من نفس التمريرة الأمامية مثل التنبؤ الأساسي، دون نموذج منفصل أو تكلفة ذاكرة إضافية. تستغل الطرق القائمة على الأنماط، مثل ذاكرات التخزين المؤقت n-gram وعمليات البحث n-gram، التكرار الموجود بالفعل في النص المولد. تكلفة تشغيلها تكاد تكون معدومة لأنها ببساطة تبحث في السياق الحالي عن تسلسلات مطابقة. في تنفيذات مثل llama.cpp، يحاول وحدة فك الترميز المسودة القائمة على الأنماط أولاً، ويعود إلى المسودة العصبية فقط عندما لا يتم العثور على استمرار مناسب.

ما تعنيه أرقام القبول فعليًا للمستخدمين

الادعاءات مثل تحسين الإنتاجية بنسبة 30-70% من MTP، أو ما يصل إلى 6× من DFLASH، تعتمد بشكل كبير على خصائص عبء العمل. الاستمرارات القابلة للتنبؤ، والتكرار على الكود، ونماذج التفكير التي تكرر التفكير السابق، أو التلخيص الذي يعكس مصدره، تنتج عمليات تشغيل مقبولة طويلة وتسريع فعال عالي. النص القصير والعالي الجدة والحر ينتج معدلات قبول منخفضة حيث يمكن أن تفوق التكلفة العامة للمسودة الفائدة. على Gemma 4، يمكن أن تصل مكاسب MTP إلى حوالي 3× في ظل ظروف عمل مواتية. على Qwen3 27B الذي يعمل على بطاقتي RTX 5090 GPU، ينتقل MTP من 51 إلى 117 رمزًا في الثانية، أي تحسن بنحو 2.3×. تدعي DFLASH ذروات أعلى، خاصة على Qwen3.6 و Gemma 4 و Kimi K2.5، ولكن نفس الاعتماد على بنية الكتلة ينطبق: حجم الكتلة ثابت بواسطة نموذج المسودة المدرب، مما يحد من مدى ديناميكية ضبط طول المسودة مقارنة بالطرق الرمزية.

لا يزال عنق الزجاجة الحقيقي هو عرض النطاق الترددي للذاكرة، لكن اللعبة تتغير

لا يقلل الترميز التخميني من مقدار الحساب الذي يؤديه النموذج المستهدف. إنه يغير نسبة قراءات الوزن إلى الرموز المولدة. هذا هو السبب في أنه يساعد أكثر في أعباء العمل المرتبطة بعرض النطاق الترددي للذاكرة، وهو معظم الاستدلال المحلي اليوم. مع تسارع الأجهزة في نقل الأوزان، أو مع تقدم تقنيات ضغط ذاكرة التخزين المؤقت KV، قد تتغير القيمة النسبية للترميز التخميني. لكن بالنسبة للجيل الحالي من وحدات معالجة الرسومات الاستهلاكية وApple Silicon، فهو أحد الوجبات المجانية القليلة في استدلال LLM: زمن استجابة أقل، مخرجات متطابقة، بدون تكلفة جودة.