السياق الطويل

التقنيات العميقة

التوجيه المشترك عبر الطبقات يعطي الانتباه المتناثر تسريعًا بمقدار 7 أضعاف دون التأثير على الجودة

تستخدم CLSA تمريرة توجيه واحدة لكل تسلسل بدلاً من تمريرة واحدة لكل طبقة، مما يقلل حمل KV-cache مع الحفاظ على انتقائية مستوى الرمز. تُظهر المقاييس تحسنًا في الإنتاجية بمقدار 17.1 ضعفًا في سياق 128 ألف رمز.

2026-07-26