KV缓存

深度技术

跨层共享路由使稀疏注意力速度提升7倍，且不牺牲质量

CLSA每个序列仅执行一次路由，而非每层一次，在保持标记级选择性的同时大幅削减KV缓存开销。基准测试显示，在128K上下文下吞吐量提升17.1倍。

2026-07-26