La distillation des LLM stagne quand le contexte devient statique. Ce papier le fait évoluer

Les domaines ouverts sont l'endroit où l'entraînement des LLM manque de tableaux de score. Il n'existe pas de récompense vérifiable à optimiser, si bien que les préférences de tâche résistent à leur transformation en supervision. Un papier mis en ligne sur arXiv par l'université de Pékin le 30 juillet 2026 s'attaque à cette lacune sous un angle que la plupart des recherches sur la distillation ignorent : et si le contexte lui-même était la pièce mobile ?

Le déficit de supervision dans les domaines ouverts

L'entraînement par récompense a besoin de quelque chose de vérifiable. Les tâches ouvertes ne le fournissent pas, et compresser un jugement holistique en un scalaire unique jette l'essentiel de ce que ce jugement exprimait. Des travaux antérieurs sur LLM-as-a-Coach posent le même diagnostic : la RL sur des tâches ouvertes compresse une évaluation fondée sur une grille en une récompense scalaire, écartant le riche retour textuel que l'évaluation avait produit.

Les contextes offrent une seconde voie, soutiennent les auteurs de Flux-OPD. Un contexte peut transporter les préférences de tâche directement dans l'entraînement. Le revers, c'est qu'il ne paie qu'une fois puis s'arrête : une fois ces préférences distillées dans l'étudiant, le contexte n'apporte plus qu'une supervision supplémentaire minime. L'étudiant l'a absorbé. Cette observation motive l'idée centrale du papier : laisser les contextes évoluer avec la performance de l'étudiant.

Deux découvertes cachées dans l'objectif KL inverse

Flux-OPD, acronyme de on-policy distillation with evolving contexts, repose sur une décomposition de l'objectif KL inverse, la divergence couramment utilisée pour mesurer l'écart entre la distribution de l'étudiant et celle de ses enseignants.

Première découverte : l'étudiant est distillé vers la moyenne géométrique des enseignants conditionnés par le contexte. Dans l'espace logarithmique, cela revient à une moyenne de ce que disent les enseignants, si bien que l'étudiant se positionne entre ses enseignants plutôt qu'à l'intérieur de l'un d'eux. Deuxième découverte : l'objectif porte également un terme de conflit qui mesure à quel point ces enseignants divergent. Les contextes évolutifs poussent les enseignants dans des directions différentes, et ce terme est le compteur de cette divergence.

Les approches naïves qui injectent des contextes évolutifs directement dans l'entraînement butent sur ces deux faits. La cible de distillation devient instable et les distributions qui en résultent entrent en conflit. Flux-OPD traite les deux comme des conditions à maîtriser : il stabilise la cible et réduit le poids des conflits afin qu'un contexte en mouvement puisse continuer à enseigner.

Comment Flux-OPD transforme le contexte en correction

La distillation classique de connaissances entraîne un petit modèle étudiant à imiter les sorties d'un grand enseignant. Flux-OPD change ce que l'on demande à l'étudiant d'imiter. Au lieu de poursuivre directement un enseignant conditionné par le contexte, la méthode mesure la différence entre un enseignant conditionné par le contexte et un enseignant sans contexte. Cette différence est le signal de différence contextuelle : il isole ce que le contexte apporte.

La différence est injectée comme une correction par-dessus l'enseignant sans contexte, qui ancre l'entraînement. Le terme de conflit pondère ensuite la force de la correction. Lorsque les enseignants conditionnés par le contexte divergent, la correction est réduite. Lorsqu'ils s'accordent, elle s'applique à pleine puissance. En une phrase : laissez le contexte bouger, mais ne poussez l'étudiant qu'aussi fort que les enseignants s'accordent à le faire.

Résultats, et ce que le résumé passe sous silence

Les expériences sur des tâches ouvertes montrent que Flux-OPD surpasse les paradigmes OPD existants, selon le résumé, qui présente le résultat comme la preuve que la supervision des enseignants et les contextes évolutifs peuvent être combinés.

Le résumé ne livre aucun chiffre et ne nomme aucun benchmark. C'est normal pour une prépublication, mais cela signifie que les détails qui permettraient à un lecteur d'évaluer l'affirmation, quelles tâches, quelles lignes de base, quelle marge de progression, se trouvent dans le papier complet plutôt que dans le résumé. La prépublication comptait 39 votes positifs sur HuggingFace au moment de la rédaction.

Le débat sur la distillation donne également à la méthode des enjeux qui dépassent le laboratoire. OpenAI, Meta et 40 autres ont signé une lettre politique qui, autour de la distillation, plaide pour des cadres juridiques ciblés sur l'extraction illégale plutôt que pour des interdictions générales de la technique. Une méthode qui change la façon dont les étudiants sont orientés vers les enseignants s'inscrit pleinement dans cet argument.

Ce qui reste ouvert : le résumé ne décrit pas en détail le mécanisme de stabilisation de la cible mobile, ne dit pas ce qui se passe lorsque le terme de conflit domine, et ne délimite pas ce que recouvre « open-ended ». Différents domaines ouverts ont des structures de préférences très différentes. La décomposition est la partie durable du papier ; la question de savoir si la correction pondérée par le conflit tient dans de véritables entraînements est la partie à laquelle le résumé ne répond pas.

Le pari de Flux-OPD est simple à énoncer : un contexte ne vaut que ce qu'il ajoute par-dessus l'enseignant sans contexte, et le désaccord entre contextes est un cadran qui règle la force de la poussée. La décomposition qui encadre ce pari est la partie la plus solide de la soumission. Les réglages du cadran doivent encore faire leurs preuves au-delà du résumé.