La destilación de LLM se estanca cuando el contexto se vuelve estático. Este artículo lo hace evolucionar

Los dominios abiertos son donde el entrenamiento de LLM se queda sin marcadores. No hay una recompensa verificable que optimizar, por lo que las preferencias de la tarea se resisten a convertirse en supervisión. Un artículo publicado en arXiv por la Universidad de Pekín el 30 de julio de 2026 ataca esa brecha desde un lado que la mayoría de la investigación sobre destilación pasa por alto: ¿y si el contexto mismo es la parte móvil?

La brecha de supervisión en los dominios abiertos

El entrenamiento basado en recompensas necesita algo comprobable. Las tareas abiertas no lo proporcionan, y comprimir un juicio holístico en un único escalar descarta la mayor parte de lo que decía ese juicio. Trabajos anteriores sobre LLM-as-a-Coach hacen el mismo diagnóstico: el RL en tareas abiertas comprime una evaluación basada en rúbricas en una recompensa escalar, descartando la rica retroalimentación textual que produjo la evaluación.

Los contextos ofrecen un segundo camino, argumentan los autores de Flux-OPD. Un contexto puede llevar las preferencias de la tarea directamente al entrenamiento. El problema es que solo rinde una vez y luego se detiene: una vez que esas preferencias se destilan en el estudiante, el contexto añade poca supervisión adicional. El estudiante lo ha absorbido. Esa observación motiva la idea central del artículo, que es dejar que los contextos evolucionen con el rendimiento del estudiante.

Dos hallazgos ocultos en el objetivo de KL inversa

Flux-OPD, abreviatura de destilación on-policy con contextos en evolución, se basa en una descomposición del objetivo de KL inversa, la divergencia que se usa comúnmente para medir qué tan lejos se sitúa la distribución del estudiante de sus profesores.

El primer hallazgo: el estudiante se destila hacia la media geométrica de los profesores condicionados por el contexto. En el espacio logarítmico, eso es un promedio de lo que dicen los profesores, por lo que el estudiante se sitúa entre sus profesores en lugar de dentro de uno solo de ellos. El segundo: el objetivo también contiene un término de conflicto que mide cuánto discrepan esos profesores. Los contextos en evolución empujan a los profesores en direcciones diferentes, y este término es el medidor de esa divergencia.

Los enfoques ingenuos que alimentan contextos en evolución directamente en el entrenamiento tropiezan con ambos hechos. El objetivo de destilación se vuelve inestable y las distribuciones resultantes chocan. Flux-OPD trata ambos como condiciones que controlar: estabiliza el objetivo y reduce el peso de los conflictos para que un contexto en movimiento pueda seguir enseñando.

Cómo Flux-OPD convierte el contexto en una corrección

La destilación de conocimiento tradicional entrena un modelo estudiante pequeño para imitar las salidas de un profesor grande. Flux-OPD cambia lo que se le pide al estudiante que imite. En lugar de perseguir directamente a un profesor condicionado por el contexto, el método mide la diferencia entre un profesor condicionado por el contexto y un profesor sin contexto. Esa diferencia es la señal de diferencia contextual: aísla lo que el contexto aporta.

La diferencia se inyecta como una corrección sobre el profesor sin contexto, que ancla el entrenamiento. El término de conflicto pondera entonces con qué fuerza empuja la corrección. Cuando los profesores condicionados por el contexto discrepan, la corrección pierde peso. Cuando se alinean, se aplica con toda su fuerza. En una línea: deja que el contexto se mueva, pero empuja al estudiante solo con la fuerza que los profesores acuerden.

Resultados, y lo que el resumen omite

Los experimentos en tareas abiertas muestran que Flux-OPD supera los paradigmas OPD existentes, según el resumen, que enmarca el resultado como evidencia de que la supervisión del profesor y los contextos en evolución pueden combinarse.

El resumen no incluye cifras ni nombra benchmarks. Eso es normal en un preprint, pero significa que los detalles que permitirían a un lector juzgar la afirmación, qué tareas, qué líneas base, cuánto margen de mejora, están en el artículo completo, no en el resumen. El preprint acumulaba 39 upvotes en HuggingFace al momento de escribir esto.

El debate sobre la destilación también le da al método algo en juego más allá del laboratorio. OpenAI, Meta y otras 40 organizaciones firmaron una carta de política que, en torno a la destilación, insta a marcos legales específicos para la extracción ilícita en lugar de prohibiciones generales de la técnica. Un método que cambia cómo se orienta a los estudiantes hacia los profesores cae de lleno en ese argumento.

Lo que queda abierto: el resumen no describe en detalle el mecanismo de estabilización detrás del objetivo móvil, no dice qué sucede cuando el término de conflicto domina y no delimita qué cubre "open-ended". Diferentes dominios abiertos tienen estructuras de preferencias muy distintas. La descomposición es la parte duradera del artículo; si la corrección ponderada por conflicto se sostiene en ejecuciones de entrenamiento reales es la parte que el resumen no responde.

La apuesta de Flux-OPD es simple de enunciar: un contexto solo vale por lo que añade sobre el profesor sin contexto, y el desacuerdo entre contextos es un dial para decidir con qué fuerza empujar. La descomposición que enmarca la apuesta es la parte más sólida de la propuesta. Los ajustes del dial aún tienen que demostrar su valía fuera del resumen.