Comment la distillation contextuellement alignée empêche les enseignants vidéo de voir l'avenir

La génération vidéo interactive a un problème d'horloge. Le modèle doit produire chaque image conditionnée uniquement par ce qui précède ; tout ce qui suit est, de son point de vue, encore non écrit. Les pipelines de distillation utilisés pour entraîner ces modèles ignorent souvent cette contrainte. Un enseignant bidirectionnel note la sortie de l'étudiant par rapport à un clip complet, y compris des images que l'étudiant ne pouvait pas connaître lorsqu'il a généré sa cible.

Ce décalage fait l'objet d'un nouvel article, Context-Matched Distillation: Teacher Causality for Autoregressive Video Distillation, publié sur Hugging Face. L'argument est simple : si un étudiant à quelques étapes ne peut voir que le passé, son enseignant ne devrait lui aussi voir que le passé. La méthode de l'article, la distillation contextuellement alignée (CMD), fait respecter exactement cela et rapporte des résultats agrégés de pointe parmi les méthodes autorégressives sur des benchmarks vidéo courts et longs.

Pourquoi les enseignants de distillation vidéo pouvaient voir l'avenir

La distillation à quelques étapes existe pour rendre la génération vidéo interactive rapide, réduisant le nombre d'étapes de débruitage nécessaires à chaque déroulé. Le problème est que le contrôle en ligne, ce que le cas d'usage interactif exige, impose une contrainte causale : les images et les blocs ne peuvent dépendre que de l'historique et des contrôles disponibles au moment de la génération.

Les pipelines standards de distillation par appariement de distributions vidéo (DMD) n'étendent pas cette contrainte à l'enseignant. Ils supervisent des étudiants causaux à quelques étapes avec des enseignants bidirectionnels qui notent des clips entiers. Le score attribué à une cible peut donc dépendre d'images et de contrôles futurs qui étaient indisponibles lorsque l'étudiant a généré cette cible. L'étudiant est entraîné à correspondre à un score calculé avec plus d'informations qu'il n'en aura jamais au moment de l'exécution.

Le problème apparaît dans les travaux connexes du côté de l'étudiant. Dans notre couverture de Cosmos-H-Dreams de NVIDIA, un projet de distillation visant la simulation chirurgicale en temps réel, un modèle qui se conditionne sur ses propres sorties imparfaites laisse les petites erreurs s'accumuler au fil du temps. Le correctif là-bas est la distillation auto-forcée : l'étudiant avance sur son propre contexte généré sous la supervision d'un enseignant figé. CMD prend l'autre voie. Elle laisse l'étudiant tel quel et modifie ce que l'enseignant est autorisé à voir.

Trois mécanismes, une même prémisse causale

CMD repose sur une seule prémisse : la supervision de l'enseignant doit correspondre à l'information disponible lorsque chaque cible est générée. Trois mécanismes en découlent.

Le premier est l'enseignant causal. Là où les pipelines existants notent des clips entiers, l'enseignant de CMD évalue chaque cible sans accès à aucune image ou aucun contrôle futur. Le même enseignant causal initialise également l'étudiant à quelques étapes, de sorte que l'entraînement de l'enseignant, la distillation de l'étudiant et l'inférence partagent une seule formulation causale. Aucune partie du pipeline ne bénéficie d'une anticipation que l'étudiant n'aura pas au moment de l'exécution.

Le deuxième mécanisme, la notation par préfixe, traite un décalage plus subtil. Pendant la génération interactive, l'étudiant ne s'appuie pas sur la vérité terrain ; il s'appuie sur sa propre sortie précédemment générée. La notation par préfixe évalue chaque cible sous le préfixe généré par l'étudiant et mis en cache qui l'a réellement produite, liant la supervision au contexte de déroulé réel de l'étudiant plutôt qu'à un contexte idéalisé.

Cette configuration crée un problème d'instabilité, car les premiers déroulés produisent des préfixes peu fiables. Le troisième mécanisme, la corruption de préfixe, perturbe ces premiers préfixes pour stabiliser l'entraînement tout en préservant l'alignement entre une cible et son contexte de génération.

Comme la formulation causale ne change jamais, CMD s'étend aussi naturellement à la génération image par image et par blocs, à la distillation vidéo longue et à la distillation conditionnée par caméra.

L'instabilité a un équivalent connu dans la distillation de modèles de langue. Notre analyse de Flux-OPD a constaté que les contextes évolutifs poussent les enseignants conditionnés par le contexte dans des directions différentes, et que l'objectif KL inversé comporte un terme de conflit mesurant cette divergence. CMD fait face à une instabilité similaire dans le cadre vidéo, où l'élément instable est le propre déroulé de l'étudiant.

Ce que montrent les benchmarks, et la réserve qui les accompagne

Les résultats rapportés sont solides, avec une réserve qu'il convient de souligner. CMD atteint des performances agrégées de pointe parmi les méthodes autorégressives sur des benchmarks vidéo courts et longs, ainsi qu'une adhérence nettement améliorée aux contrôles de caméra variant dans le temps. « Parmi les méthodes autorégressives » fait un vrai travail ici. L'affirmation ne dit pas comment un modèle distillé par CMD se compare aux approches non autorégressives de la génération vidéo interactive.

Le résultat sur le contrôle de caméra porte le poids pratique. La vidéo interactive se vend sur la direction d'une scène en temps réel, et le mouvement de caméra est la forme la plus directe de direction. Une meilleure adhérence aux contrôles variant dans le temps est le signe le plus clair que la suppression de l'anticipation de l'enseignant porte ses fruits là où elle le devrait : lorsque l'utilisateur déplace la caméra en cours de déroulé, le modèle n'a aucune excuse pour être surpris.

Questions ouvertes laissées par l'article

Trois questions découlent du cadrage même de l'article. La comparaison non autorégressive est tout simplement absente : savoir si la distillation causale se transférerait à d'autres familles de génération, et comment un modèle distillé par CMD s'en sortirait en tête-à-tête contre un tel modèle, est laissé à des travaux ultérieurs. Le coût de la contrainte n'est pas quantifié : retirer l'accès au futur à l'enseignant est de l'information écartée par construction, et pour les tâches où le clip complet est connu à l'avance, comme le montage hors ligne, un enseignant bidirectionnel pourrait encore avoir quelque chose à offrir. Et le résumé rapporte des gains de qualité, pas une arithmétique de latence : la notation par préfixe dépend de préfixes mis en cache, et ce que cela ajoute au budget par déroulé n'est pas détaillé. L'économie du coût par génération est une préoccupation vive ailleurs dans le domaine, comme le montre la tarification à la seconde de Wan3.0-Video.

La place de CMD dans la conversation plus large sur la distillation est plus claire. Les étudiants auto-forcés, l'appariement de contexte on-policy et maintenant la causalité de l'enseignant pointent tous dans la même direction : la distillation générative s'améliore lorsque les conditions d'entraînement correspondent aux conditions dans lesquelles le modèle fonctionnera réellement. Ce même principe apparaît du côté des modèles de monde, où PhiZero apprend un langage physique à partir de vidéos brutes pour raisonner avant de rendre, et où VideoCoCo scénarise des scènes comme du code Blender afin qu'un simulateur les joue. CMD fait simplement obéir l'enseignant à la même horloge que l'étudiant. Qu'un correctif conceptuellement simple remporte des benchmarks suggère à quel point de désalignement le domaine tolérait silencieusement.