El motor mlx de Ollama ahora es más rápido y consume menos memoria en Apple Silicon

Ollama lanzó una actualización del motor MLX para Apple Silicon con soporte para el formato de cuantización NVFP4 de NVIDIA, núcleos Metal fusionados que aceleran la generación de salida hasta un 20 % y un sistema de instantáneas que reduce el procesamiento redundante de indicaciones en flujos de trabajo de agentes.

La versión aborda tres puntos débiles que han limitado la implementación local de LLM en hardware Mac: la calidad de la cuantización, la velocidad de inferencia y la sobrecarga del procesamiento repetido de contexto en sesiones de agente de múltiples turnos.

NVFP4 reduce a la mitad la pérdida de calidad

El motor MLX de Ollama ahora admite el formato NVFP4 optimizado para modelos de NVIDIA, que sigue el rango dinámico local de los pesos del modelo más de cerca que la cuantización común q4_K_M. En el modelo Gemma 4 12B, NVFP4 reduce aproximadamente a la mitad la brecha de perplejidad entre la versión cuantizada de 4 bits y la línea base bf16 sin cuantizar, manteniendo la misma huella de rendimiento.

Los modelos originalmente optimizados para implementación en centros de datos ahora se pueden importar y ejecutar en un escritorio Apple Silicon sin reentrenamiento. Esta función de puente permite a los desarrolladores probar la inferencia en hardware local antes de escalar a la nube.

Los núcleos Metal fusionados ofrecen un 20 % de aceleración

Al fusionar varias operaciones en núcleos Metal individuales a través del compilador justo a tiempo de MLX, Ollama logró que la generación de salida fuera hasta un 20 % más rápida. El pipeline de muestreo respaldado por GPU también fue reescrito para una ejecución más eficiente, un cambio que se combina con la presión de memoria reducida del nuevo formato de cuantización.

El almacenamiento en caché de instantáneas maneja sesiones de agente desordenadas

La característica destacada es un sistema de instantáneas que guarda el estado del modelo en puntos clave de una conversación, diseñado para las dinámicas desordenadas de las sesiones de agente reales. En un bucle de agente, cada llamada a una herramienta reenvía la transcripción completa: indicación del sistema, definiciones de herramientas, lecturas de archivos. Eso a menudo significa procesar decenas de miles de tokens repetidamente. El almacenamiento en caché de prefijos estándar falla cuando las conversaciones se ramifican, un modelo de pensamiento descarta tokens de razonamiento, o un agente pasa el control a un subagente.

El sistema de instantáneas de Ollama guarda el estado en los puntos a los que es probable que las conversaciones regresen: en puntos de ramificación, en intervalos a través de indicaciones largas y justo antes de cada respuesta. Esto permite que múltiples agentes se ejecuten en paralelo, cada uno reanudando desde su propio estado guardado, con el contexto compartido procesado solo una vez. Los modelos de pensamiento que descartan tokens de razonamiento en cada turno pueden reanudar desde una instantánea tomada antes de que comenzara la respuesta, evitando el reprocesamiento completo. Si un desarrollador ramifica una conversación para un seguimiento diferente o regenera una respuesta, solo la nueva dirección necesita ser calculada.

El sistema es selectivo e incremental para evitar llenar la memoria. Las instantáneas se almacenan solo en los puntos con mayor probabilidad de reutilización. Esto es importante para modelos más nuevos con atención de ventana deslizante o capas recurrentes, donde el estado no se puede retroceder una vez que el modelo pasa un punto de conversación.

Para empezar, descargue la última versión de Ollama y ejecute ollama run gemma4:12b-mlx. Para usar en un agente de codificación, use ollama launch pi, model gemma4:12b-mlx.