vLLM
4 published articles
DeepSeek-V4.1-Flash débarque sur la pile vLLM de Cambricon
Un modèle de 552 milliards de paramètres, un quart de la HBM, et un portage Cambricon dès le premier jour
DeepSeek-V4.1-Flash a atteint les accélérateurs de Cambricon dès le premier jour via vLLM. Ce portage en dit moins sur le modèle que sur la vitesse à laquelle les fabricants chinois de puces peuvent désormais suivre un framework d'inférence public.
2026-09-22
Qwen / Alibaba
Qwen3.8-27B peut lire 1M de tokens, mais seulement si vous activez les bons flags
Le Qwen3.8-27B embarque un curseur d'effort de raisonnement et un contexte natif de 262K, extensible à 1M de tokens avec les bons flags. Le piège, enfoui dans le guide d'Alibaba : réduire la réflexion peut ralentir les pipelines agentiques. Voici ce que font les flags et quand un faible effort se retourne contre vous.
2026-09-18
Intelligence Artificielle
DeepSeek-OCR 2 : Le Flux Causal Visuel s'ouvre à la compréhension open-source des documents
DeepSeek-OCR 2 introduit le flux causal visuel pour un encodage visuel de type humain. Désormais open source sur GitHub, le modèle prend en charge vLLM et Transformers, une résolution dynamique (jusqu'à 1 216 tokens visuels) et la conversion document-vers-markdown.
2026-07-09
Intelligence artificielle
La nouvelle bibliothèque megakernel d'Aleph Alpha réduit la latence d'inférence MoE de 200 %
Alpha-MoE fusionne plusieurs opérations en un seul noyau persistant pour obtenir jusqu'à 200 % de gains de vitesse d'inférence par rapport aux noyaux Triton dans vLLM et SGLang, ciblant les modèles MoE en précision FP8.
2026-07-09