La receta de cascada de Mistral reduce los LLM sin eliminar el razonamiento

En teoría, el último lanzamiento del equipo de Mistral AI parece una expansión rutinaria de la familia de modelos: tres tamaños (3B, 8B y 14B parámetros), tres variantes por tamaño, base preentrenada, ajuste fino por instrucciones y razonamiento, todo bajo la licencia Apache 2.0. Pero la verdadera historia no es el listado de nuevos modelos. Es el método utilizado para crearlos.OPID brinda a los agentes de lenguaje una señal de…

El laboratorio francés de IA ha detallado lo que llama destilación en cascada, un proceso iterativo que poda un modelo maestro más grande en estudiantes progresivamente más pequeños mientras destila conocimiento continuamente en cada paso. El enfoque, descrito en un informe técnico publicado junto con los modelos, está diseñado para resolver una tensión bien conocida: los modelos más pequeños suelen perder demasiada capacidad cuando se podan o destilan una sola vez. La destilación en cascada ataca ese problema haciendo que el proceso de compresión en sí mismo sea un plan de estudios de múltiples etapas.

Cómo funciona la destilación en cascada

La destilación tradicional de conocimiento implica entrenar un modelo estudiante pequeño para imitar las salidas de un modelo maestro grande. La destilación en cascada añade capas: el maestro se poda primero a un tamaño intermedio, luego ese modelo intermedio se convierte en el maestro para el siguiente estudiante más pequeño. El proceso se repite hasta alcanzar el tamaño objetivo. En cada etapa, el estudiante hereda no solo las predicciones del maestro sino también los priores estructurales del paso de poda, lo que, según el equipo de Mistral, ayuda a preservar dependencias de largo alcance y vías de razonamiento que la destilación en un solo paso tiende a colapsar.

"La destilación en cascada permite la preservación de un rango más amplio de capacidades, incluida la comprensión multimodal y el razonamiento de múltiples pasos, que suelen ser las primeras víctimas de la compresión agresiva", afirma el informe técnico.

Los modelos de 3B y 8B se derivaron de la versión de 14B utilizando este método. El modelo de 14B se inicializó a partir de un maestro más grande no revelado. Los tres tamaños incluyen una variante capaz de comprender imágenes, una característica raramente vista a escala de 3B bajo una licencia permisiva.M3D y Real-Guidance llevan la destilación de conjuntos…

Por qué el tamaño vuelve a importar

La narrativa de la industria en torno a los recuentos de parámetros ha oscilado drásticamente en los últimos 18 meses. Mientras que la era 2023, 2024 estuvo dominada por la carrera de "cuanto más grande, mejor" que produjo modelos como Llama 3.1 405B y DeepSeek-V3, un contra-movimiento ha ganado impulso: los modelos entre 1B y 14B parámetros se optimizan para implementación en dispositivos, inferencia privada y aplicaciones sensibles a costos. Phi-4 de Microsoft (14B), Gemma 2 de Google (2B, 27B) y ahora Ministral 3 apuntan a este nicho.Su modelo de IA dice que puede leer 1 millón de tokens.…

La variante de razonamiento de Ministral 3 de 3B, probada internamente por Mistral, iguala o supera el rendimiento de Mistral Small 3.1 en varios puntos de referencia de matemáticas y lógica, a pesar de ser una quinta parte del tamaño. Ese tipo de ganancia de eficiencia es lo que la destilación en cascada fue diseñada para ofrecer, y ofrece un posible plan de acción para otros laboratorios que buscan comprimir sus modelos más grandes sin empezar desde cero.Kog's Laneformer 2B alcanza 3,000 tokens/s al hacer de…

Comprensión de imágenes en el borde

Quizás el elemento más sorprendente del lanzamiento es que incluso la variante de 3B admite entradas de imágenes. Mistral integró un codificador de visión compatible con la arquitectura densa del modelo, permitiendo tareas como análisis de documentos, lectura de diagramas y respuesta a preguntas visuales básicas. Para los desarrolladores que trabajan en asistentes de IA en dispositivos o procesamiento de documentos privados, esto elimina una gran barrera de hardware: no se requiere viaje de ida y vuelta a la nube para la comprensión visual básica.

La elección de la licencia, Apache 2.0, es igualmente notable. Aunque Mistral ha lanzado varios modelos bajo esta licencia antes, la combinación de pequeño tamaño, capacidad de visión y licencia permisiva convierte a la variante de 3B en un candidato fuerte para sistemas embebidos, prototipado y aplicaciones donde el cumplimiento de la licencia importa tanto como el rendimiento.

Posicionamiento competitivo

La serie Ministral 3 entra en un campo ya abarrotado de modelos pequeños capaces. Phi-4 de Microsoft ofrece un fuerte razonamiento a 14B pero carece de las capacidades de visión de Ministral 3 en el mismo tamaño. Gemma 2 de Google, disponible en múltiples tamaños, tiene licencia Apache 2.0 pero no incluye visión de forma nativa. Llama 3.2 de Meta incluye variantes de 1B y 3B pero limita la visión al modelo más grande de 11B.Cómo los LLM locales como Gemma y Qwen están domando el…

El enfoque de destilación en cascada de Mistral también lo distingue en el frente metodológico. Mientras que otros laboratorios han experimentado con poda (modelos dispersos de Google, compresión coreml de Apple), pocos han publicado un pipeline reproducible de múltiples etapas que produzca ganancias consistentes en cada nivel de tamaño. Si la técnica se generaliza más allá de la arquitectura de Mistral, podría influir en cómo la comunidad de código abierto aborda la compresión de modelos.olmo-eval de Ai2 brinda a los desarrolladores de LLM un…

La pregunta abierta

La única pregunta que el informe técnico no responde completamente es cuánto del rendimiento es atribuible a la destilación en cascada frente a la calidad del modelo maestro inicial. Mistral no ha revelado el tamaño o la arquitectura del maestro utilizado para sembrar el modelo de 14B, lo que dificulta que investigadores externos aíslen la contribución del método. Esa opacidad es típica de los lanzamientos de modelos de última generación, pero deja espacio para la verificación independiente, especialmente dado que la tabla de clasificación de modelos pequeños se está convirtiendo en un activo estratégico para los laboratorios de IA que compiten por la atención de los desarrolladores.

Lo que está claro es que Mistral ha lanzado un nuevo asalto en la carrera armamentista de modelos pequeños. La destilación en cascada ofrece una receta replicable, la licencia es sencilla y la variante más pequeña tiene capacidades que, hasta hace poco, requerían diez veces los parámetros. Para los desarrolladores que trabajan con limitaciones de cómputo y memoria, esa podría ser la noticia más práctica de este trimestre.El horizonte de verificación: por qué verificar agentes…