推理优化
4 published articles
人工智能5 min read
深度技术
跨层共享路由使稀疏注意力速度提升7倍，且不牺牲质量
CLSA每个序列仅执行一次路由，而非每层一次，在保持标记级选择性的同时大幅削减KV缓存开销。基准测试显示，在128K上下文下吞吐量提升17.1倍。
2026-07-26
人工智能3 min read
人工智能
Aleph Alpha新发布的超级内核库将MoE推理延迟降低200%
Alpha-MoE将多个操作融合到单个持久内核中，在vLLM和SGLang中相比基于Triton的内核实现了高达200%的推理速度提升，目标为FP8精度的MoE模型。
2026-07-09
人工智能2 min read
深度解析
Aleph Alpha 为 DeepSeek 构建理论推理模型：从硬件原语推导性能
Aleph Alpha 为 DeepSeek v3 创建了一个理论推理模型，用于从硬件参数估算吞吐量，分析不同 GPU 配置下的权衡，帮助实践者优化大型 MoE 模型的性能与成本。
2026-07-05
DeepSeek2 min read
大语言模型推理优化
Aleph Alpha 构建理论推理模型，从硬件原语解码 DeepSeek V3 性能
Aleph Alpha 的理论模型仅凭硬件参数即可预测 DeepSeek V3 的推理性能，揭示 GPU 数量和互连带宽如何改变计算、内存和通信之间的瓶颈。
2026-07-04