稀疏注意力
2 published articles
人工智能5 min read
深度技术
跨层共享路由使稀疏注意力速度提升7倍,且不牺牲质量
CLSA每个序列仅执行一次路由,而非每层一次,在保持标记级选择性的同时大幅削减KV缓存开销。基准测试显示,在128K上下文下吞吐量提升17.1倍。
2026-07-26
实验室与研究Featured3 min read
AI实验室与研究
MiniMax M3自主编写CUDA内核,并开源代码
MiniMax M3在BrowseComp上取得83.5分,超越Opus 4.7的79.3分,原生支持高达100万token的上下文。在一项显著的自主性测试中,它在无需人工干预的情况下,将GPU内核峰值利用率从7.6%自我优化到71.3%。
2026-07-09