PhiZero : apprendre à l'IA vidéo à raisonner en physique avant le rendu

Les modèles de génération vidéo ont un problème de physique. Donnez-leur une image de départ et ils peuvent produire une séquence parfaitement plausible dans laquelle une balle tombe vers le haut, une tasse traverse une table ou un bras se plie dans le mauvais sens. Un nouvel article du CASIA affirme que le défaut est structurel : les modèles actuels prédisent directement les pixels, et rien dans ce pipeline ne représente jamais les règles du monde représenté.

La solution proposée est inhabituelle. PhiZero ne cherche pas à rendre le prédicteur visuel plus intelligent. Il s'éloigne au contraire complètement des pixels : il traduit d'abord l'évolution attendue d'une scène dans ce que les auteurs appellent le « langage physique », une représentation discrète et compacte des transitions entre états du monde, puis transforme cette description en vidéo. Raisonner d'abord, peindre ensuite.

Le problème de la prédiction des pixels

Les modèles physiques du monde existants, note l'article, opèrent généralement dans l'espace des pixels : ils prennent une image ou un prompt et prédisent les images futures, laissant « la dynamique sous-jacente du monde implicite au sein de prédicteurs visuels de grande dimension », comme le dit le résumé. Cela fonctionne pour de courts clips spectaculaires. Cela ne fonctionne pas vraiment pour les scènes qui exigent une mécanique cohérente, car le modèle n'est jamais contraint d'exposer ce qu'il pense qu'il se passe, mais seulement ce qu'il pense que cela ressemble.

Le postulat de PhiZero est que les humains font quelque chose de différent. Nous extrayons une structure prédictive de l'expérience visuelle et l'organisons en énoncés approximativement langagiers sur la façon dont les choses changent. L'article traite cette observation comme une contrainte de conception plutôt que comme une question philosophique.

Un langage physique appris en conditions réelles

Le « langage » n'est pas une ontologie artisanale. PhiZero l'apprend à partir de vidéos réelles par auto-supervision, sans étiquettes ni annotations, comme une représentation discrète et compacte des changements d'état. Ce qu'une unité de ce langage encode exactement n'est pas détaillé dans le résumé de la prépublication. L'intention est assez claire : forcer le modèle à s'engager sur une description de ce qui va changer avant qu'il ne soit autorisé à dessiner quoi que ce soit.

Raisonner, puis rendre

L'architecture suit un paradigme en deux étapes que les auteurs appellent « raisonner puis rendre ». La première étape déduit l'évolution future du monde comme une séquence en langage physique. La seconde transforme ces transitions déduites en images vidéo réelles. Cette division du travail est ce qui distingue PhiZero des approches qui intègrent la dynamique dans un prédicteur de grande dimension et espèrent qu'elle réapparaîtra au moment de l'inférence.

Ce que l'article affirme

Les auteurs rapportent des expériences approfondies sur des benchmarks de génération et de compréhension validant, selon les termes du résumé, une « évolution du monde physiquement cohérente ». Ils affirment également un potentiel pour trois choses qui comptent au-delà des scores de benchmark : la modélisation réaliste et interactive du monde, la simulation à grain fin conditionnée par les actions et le transfert de mouvement en zero-shot, c'est-à-dire qu'un schéma de mouvement appris sur un objet peut être appliqué à un autre sans réentraînement.

La prépublication a été soumise à arXiv le 30 juillet 2026, et la page du projet est disponible à l'adresse phi-zero.github.io. L'article avait recueilli 155 votes positifs sur Hugging Face au moment de la rédaction. C'est un intérêt communautaire modeste, pas un verdict sur la science.

Questions sans réponse

Les questions ouvertes sont réelles, et l'article les invite. Que signifie « cohérent » sur le plan opérationnel dans les benchmarks ? Comment une représentation discrète passe-t-elle à l'échelle lorsque les scènes deviennent longues et chargées ? Et « langage » est-il la bonne métaphore, ou un goulot d'étranglement discret doté d'un nom flatteur ? Le résumé ne tranche rien de tout cela. L'affirmation la plus forte, selon laquelle le raisonnement explicite surpasse la prédiction directe des pixels, devra s'appuyer sur des benchmarks tiers et une reproduction du pipeline « raisonner puis rendre » sur des données d'autres équipes avant de signifier quoi que ce soit.

Rien de tout cela ne rend la direction moins intéressante. Les modèles du monde sont tirés dans deux directions à la fois : vers des contextes plus larges et des horizons de prédiction plus longs, ou vers des représentations internes plus structurées. PhiZero est un pari sur la seconde : un modèle capable de dire ce qui va se passer avant de montrer ce qui va se passer finira par mieux comprendre le monde qu'un modèle qui se contente de le générer.