vLLM
4 published articles
硬件与电子4 min read
DeepSeek-V4.1-Flash落地寒武纪vLLM技术栈
一个552B模型、四分之一的HBM，以及寒武纪的首日移植
DeepSeek-V4.1-Flash首日即通过vLLM登陆寒武纪加速器。这次移植与其说说明了模型本身，不如说反映了中国芯片厂商如今跟进公共推理框架的速度。
2026-09-22
Qwen / 阿里巴巴3 min read
Qwen / 阿里巴巴
Qwen3.8-27B 能读取 100 万 token，但前提是开启正确的标志
Qwen3.8-27B 配备了推理努力度调节旋钮和 262K 原生上下文，在正确的标志下可扩展到 100 万 token。阿里巴巴指南中隐藏的一个问题是：将思考调低可能会拖慢智能体流水线。以下介绍这些标志的作用，以及低努力在什么情况下会适得其反。
2026-09-18
DeepSeek2 min read
人工智能
DeepSeek-OCR 2 引入视觉因果流，开源文档理解再升级
DeepSeek-OCR 2 引入视觉因果流，实现类人视觉编码。该模型现已在 GitHub 上开源，支持 vLLM 和 Transformers，具备动态分辨率（最多 1,216 个视觉标记）及文档到 Markdown 的转换功能。
2026-07-09
人工智能3 min read
人工智能
Aleph Alpha新发布的超级内核库将MoE推理延迟降低200%
Alpha-MoE将多个操作融合到单个持久内核中，在vLLM和SGLang中相比基于Triton的内核实现了高达200%的推理速度提升，目标为FP8精度的MoE模型。
2026-07-09