VideoCoCo répare la physique défaillante des vidéos IA en pensant en code Blender

Regardez un clip texte-à-vidéo assez longtemps et vous finirez par repérer le détail qui cloche. Une tasse bascule, un tissu se plie, une balle rebondit, et quelque part vers la troisième seconde, les pixels cessent d'obéir à la physique. Les images semblent presque photoréalistes. La dynamique, souvent, ne l'est pas. L'article derrière la dernière salve de chiffres de benchmarks soutient que ce n'est pas un problème de rendu. C'est un problème de raisonnement.

VideoCoCo, publié sur arXiv le 29 juillet dans la catégorie Computer Vision and Pattern Recognition, part d'un diagnostic précis. Un modèle texte-à-vidéo doit déduire implicitement l'évolution temporelle d'une scène à partir d'un prompt texte hautement compressé, et c'est dans cette inférence implicite que la cohérence physique meurt. L'article explique aussi pourquoi les tentatives antérieures de chaîne de pensée n'y ont rien changé. Les plans intermédiaires et les états visuels qu'elles produisent sont généralement non exécutables ou temporellement épars. Un modèle peut évoquer ce qui devrait se passer. Rien ne l'exécute.

Rendre la chaîne de pensée exécutable

VideoCoCo est un framework agentique à double moteur, et sa conception n'a de sens que si l'on suit ce que fait chaque partie. Un agent de codage prend le prompt et synthétise un programme Blender qui spécifie explicitement la scène et son évolution dans le temps. Un moteur de simulation exécutable exécute ce programme pour produire un brouillon spatio-temporel déterministe, une version concrète du mouvement résolue avant qu'un seul pixel ne soit dessiné. Un moteur vidéo génératif transforme ensuite le brouillon en clip photoréaliste grâce à une édition conditionnée par le brouillon. L'agent de codage ne décrit pas la scène en mots en espérant que cela suffise. Il écrit un programme qui énonce ce qui existe et ce qui change.

Tout l'intérêt réside dans la décomposition. Le raisonnement au niveau du processus, décider comment la scène se comporte, vit dans du code exécutable et peut être exécuté, inspecté et corrigé comme n'importe quel programme. La réalisation visuelle haute fidélité, celle qui donne l'aspect d'un film, est laissée au moteur génératif. Aucune des deux moitiés n'a à être bonne dans le travail de l'autre. Le moteur génératif n'a plus à inventer la physique à partir des pixels. Il doit faire ressembler une simulation honnête à du cinéma, ce qui est une tâche plus étroite et plus maniable.

Pour habituer le moteur vidéo aux entrées simulées, les chercheurs ont construit VideoCoCo-3K, un jeu de données soigneusement constitué de triplets brouillon-instruction-cible qui adapte l'éditeur aux brouillons produits par le simulateur. L'entrée affiche actuellement 64 votes positifs sur Hugging Face.

Lire le tableau des scores

Puis les chiffres. Sur PhyGenBench, VideoCoCo améliore la baseline OmniWeaving de 0.475 à 0.558. Sur VBench-2.0, il passe de 52.18 à 77.88, un bond de 25.7 points, et l'article rapporte le meilleur score moyen sur les deux benchmarks.

Les scores vivent sur des échelles différentes, PhyGenBench en fractions et VBench-2.0 en points, si bien que les deux gains ne doivent pas être comparés directement. Les chiffres de benchmarks méritent aussi une note de bas de page avant de se figer en gros titres. Ces suites testent une tranche définie de comportement, et les résultats sont les chiffres d'une seule équipe issus de sa propre évaluation, en attente de réplication indépendante. Mais le bond apparaît sur les deux suites, ce qui n'est pas rien. Cela donne à l'affirmation centrale de quoi être prise au sérieux.

Le pari structurel est plus intéressant que le score. Si un simulateur résout la physique, le mode de défaillance pratique de la vidéo IA change. Au lieu d'un modèle incapable de raisonner sur le monde, vous obtenez un brouillon que vous pouvez déboguer. Le même prompt produit la même simulation, et modifier le script Blender devient un moyen d'orienter le résultat. Déterministe et inspectable est un point de fonctionnement réellement différent pour le texte-à-vidéo.

Ce que le résumé laisse en suspens

Trois lacunes méritent d'être nommées. Le pipeline insère une étape complète de simulation avant la génération, et le résumé ne dit rien de ce que cela coûte en calcul ou en latence. Les brouillons Blender sont une géométrie déterministe, et rien ne prouve qu'un moteur vidéo entraîné sur ceux-ci puisse encore atteindre un mouvement expressif ou stylisé. Et les résultats viennent d'un seul groupe, deux benchmarks, aucune vérification indépendante pour l'instant. C'est ainsi que commencent la plupart des bons résultats.

Le pari de VideoCoCo est que la cohérence en vidéo IA passe par une suite 3D, et non par des prompts plus aventureux. Sur ses propres benchmarks, le pari a payé. S'il tient au-delà de ceux-ci, c'est une question de réplication, et c'est celle qu'il vaut la peine de suivre.