ذاكرة التخزين المؤقت KV
2 published articles
الذكاء الاصطناعي5 min read
التقنيات العميقة
التوجيه المشترك عبر الطبقات يعطي الانتباه المتناثر تسريعًا بمقدار 7 أضعاف دون التأثير على الجودة
تستخدم CLSA تمريرة توجيه واحدة لكل تسلسل بدلاً من تمريرة واحدة لكل طبقة، مما يقلل حمل KV-cache مع الحفاظ على انتقائية مستوى الرمز. تُظهر المقاييس تحسنًا في الإنتاجية بمقدار 17.1 ضعفًا في سياق 128 ألف رمز.
2026-07-26
DeepSeek4 min read
أبحاث الذكاء الاصطناعي مفتوحة المصدر
سياق مليون رمز بعُشر ذاكرة KV: رهان DeepSeek-V4 على الكفاءة
تجمع معاينة V4 من DeepSeek بين نموذج Pro بمعاملات 1.6T ونسخة Flash بمعاملات 284B، وكلاهما بسياق من مليون رمز. تدّعي الورقة أن النموذج يستهلك 27% من عمليات FLOPs للاستدلال و10% من ذاكرة KV الخاصة بـ V3.2، وهي الأرقام التي تجعل تقديم هذا السياق فعالًا من حيث التكلفة.
2026-06-22