vLLM
4 published articles
DeepSeek-V4.1-Flash llega al stack vLLM de Cambricon
Un modelo de 552.000 millones de parámetros, un cuarto de la HBM y un port para Cambricon desde el primer día
DeepSeek-V4.1-Flash llegó a los aceleradores de Cambricon el primer día a través de vLLM. El port dice menos sobre el modelo que sobre la rapidez con que los fabricantes chinos de chips pueden ahora seguir un framework de inferencia público.
2026-09-22
Qwen / Alibaba
Qwen3.8-27B puede leer 1M de tokens, pero solo si activas las banderas correctas
Qwen3.8-27B incluye un control de esfuerzo de razonamiento y un contexto nativo de 262K que se estira hasta 1M de tokens con las banderas adecuadas. El truco, escondido en la propia guía de Alibaba: bajar el nivel de pensamiento puede ralentizar los pipelines de agentes. Esto es lo que hacen las banderas y cuándo el esfuerzo bajo resulta contraproducente.
2026-09-18
Inteligencia Artificial
DeepSeek-OCR 2 trae el Flujo Causal Visual a la comprensión de documentos de código abierto
DeepSeek-OCR 2 introduce el Flujo Causal Visual para una codificación visual similar a la humana. Ahora disponible como código abierto en GitHub, el modelo es compatible con vLLM y Transformers, resolución dinámica (hasta 1,216 tokens visuales) y conversión de documentos a Markdown.
2026-07-09
Inteligencia artificial
La nueva librería megakernel de Aleph Alpha reduce la latencia de inferencia MoE en un 200%
Alpha-MoE fusiona múltiples operaciones en un solo kernel persistente para lograr ganancias de velocidad de inferencia de hasta el 200% sobre los kernels basados en Triton en vLLM y SGLang, dirigido a modelos MoE de precisión FP8.
2026-07-09