Ce que gemma-4 sait réellement de la physique : un nouvel article révèle que les représentations sont réelles

Les grands modèles de langage peuvent répondre à des questions scientifiques, mais jusqu'à présent, il était difficile de dire s'ils comprennent réellement la physique ou s'ils se contentent d'imiter des motifs de surface. Un prépublication posté sur arXiv le 22 juillet 2026 aborde cette question de front avec le modèle open-weight google/gemma-4-E4B-it, en utilisant une batterie de techniques de sondage et d'intervention pour déterminer si les mécanismes de science des matériaux sont présents en tant que représentations lisibles et causalement actives.

Trois formes de représentation

L'article soutient que l'information mécanique prend trois formes expérimentalement séparables à l'intérieur du modèle : les concepts sont lisibles dans des états cachés individuels, l'orientation constitutive est portée par des transformations contrôlées entre les états, et les représentations internes sélectionnées contrôlent causalement les réponses d'ingénierie. Les chercheurs combinent des lectures de vocabulaire directes et jacobiennes appariées, une géométrie d'état sans option, un benchmark contrefactuel de 60 lois et des interventions causales pour établir chacune d'elles.

Dans 50 descriptions de matériaux mises de côté, trois lentilles jacobiennes ajustées indépendamment ont reproduit les classements de concepts, et des ensembles de mots sans cible provenant des deux lectures ont permis l'identification aveugle de 9 familles de mécanismes sur 10. La dixième famille était un échec, que les auteurs attribuent au fait qu'elle est définie davantage par la similarité lexicale que par un concept physique distinct.

L'audit de graphe et le test de direction

Un benchmark distinct de 72 invites a produit des voisinages d'états cachés spécifiques aux mécanismes, mais un audit de graphe exact a montré que cette organisation physique apparente était également expliquée par une comparaison numérique. C'est un résultat de mise en garde : la structure de l'espace d'état peut ressembler à de la physique alors qu'il ne s'agit en réalité que d'arithmétique.

Pour contourner cela, l'équipe a comparé des invites par ailleurs identiques dans lesquelles seule la direction de l'entrée physique était inversée, demandant si le mouvement de l'état caché résultant suivait la loi constitutive fournie. Ces transformations d'état ont correctement orienté 39 des 40 lois directionnelles, tandis que les contrôles lexicaux étaient proches du hasard. Les lois directes, physiquement neutres et inverses sur 60 relations figées ont été ordonnées correctement. La conclusion : les relations physiques sont plus visibles dans les changements d'état contrôlés que dans les états absolus seuls.

Interventions causales et contrefactuels

Les interventions bidirectionnelles ont déplacé les probabilités de réponse vers ou à l'opposé du résultat physiquement approprié dans les 12 cas appariés. Les corrections d'état contrefactuelles ont transféré des signaux de décision opposés à travers les mécanismes et les formats de réponse. C'est le genre de preuve causale qui va au-delà de la corrélation : lorsque la représentation change de direction, la réponse suit.

Le travail est pertinent au-delà de la science des matériaux. Il suggère une méthodologie générale pour tester si la connaissance de la physique d'un modèle est réelle ou superficielle, en utilisant des inversions de direction contrôlées et des interventions ciblées plutôt que le sondage statique seul. L'accent mis sur le mouvement plutôt que sur la position est l'innovation méthodologique.

Ce que cela signifie pour l'interprétabilité

La recherche en interprétabilité s'est longtemps débattue avec la question de savoir si les LLM contiennent une véritable compréhension scientifique ou simplement un bon jeu de correspondance de motifs. Cet article penche du côté d'une « compréhension suffisamment réelle pour être orientée ». Les représentations ne sont pas simplement présentes de manière passive, elles sont causalement actives et cohérentes en direction.

La nature open-weight de gemma-4-E4B-it a rendu l'expérience possible. Les modèles propriétaires permettent rarement aux chercheurs de sonder et de corriger des états cachés individuels à ce niveau de granularité. C'est un avantage structurel pour l'écosystème open source : les articles comme celui-ci sont plus difficiles à écrire avec des modèles fermés.

Il y a toutefois une note de sobriété dans le résultat de l'audit de graphe. Les voisinages de l'espace d'état peuvent tromper. Un modèle peut organiser ses représentations d'une manière qui reflète la physique sans utiliser réellement cette organisation pour raisonner. Le test de direction a trouvé une structure physique réelle en dessous, mais toutes les structures apparentes n'ont pas survécu à l'examen.

La prochaine étape, suggèrent les auteurs, consiste à étendre la méthode à d'autres domaines scientifiques et à des modèles open-weight de différentes tailles pour voir si les mêmes motifs de représentation persistent à travers les échelles.