Le fossé entre les LLM et la méthode scientifique : un nouveau benchmark révèle que les modèles peuvent décrire des données mais pas raisonner à travers elles

Les grands modèles de langage ont été célébrés pour leur capacité à écrire du code, résumer la littérature et même générer des workflows scientifiques d’apparence plausible. Mais un nouvel article, publié sur arXiv le 13 juillet 2026, soutient que la barre pour la découverte scientifique est bien plus haute et que les benchmarks actuels mesuraient la mauvaise chose.

SDABench, introduit par des chercheurs dirigés par Chuhan Shi et Xiaoquan Ren, réorganise l’évaluation autour de six capacités distinctes : descriptive, exploratoire, inférentielle, prédictive, causale et mécaniste. Au lieu de récompenser les modèles pour avoir assemblé un workflow qui aboutit à un nombre correct, le benchmark teste si les modèles comprennent quelle méthode analytique correspond à la question, s’ils peuvent modéliser des variables non observées et s’ils peuvent raisonner sur la causalité, pas seulement la corrélation.

Le benchmark contient 527 instances de données réelles (SDA-Real) et 6 000 instances synthétiques (SDA-Synth), chacune sous forme de questions à choix multiples et ouvertes, construites via un pipeline automatisé. Les domaines couvrent la biologie, la chimie, l’environnement, la géographie et la physique.

Maîtrise descriptive, effondrement inférentiel

Lorsque les chercheurs ont évalué 15 LLM représentatifs, le schéma était frappant. Les modèles géraient bien l’analyse descriptive, des tâches comme résumer les moyennes, les variances et les distributions. Mais dès que la tâche exigeait la sélection d’hypothèses, la modélisation de processus latents ou le raisonnement mécaniste, la performance se dégradait fortement.

« Les modèles gèrent bien l’analyse descriptive mais se dégradent fortement sur les tâches nécessitant la sélection d’hypothèses, la modélisation de processus latents ou le raisonnement mécaniste », écrivent les auteurs. Cela suggère que les LLM sont actuellement mieux adaptés pour être des assistants de données que des scientifiques autonomes.

Un cadre d’analyse d’erreurs en cinq étapes

L’une des contributions les plus utiles de SDABench pourrait être son cadre d’analyse d’erreurs en cinq étapes, qui identifie précisément où les LLM échouent. Les étapes sont : identification du périmètre, identification des variables, sélection de la procédure, modélisation des relations et conclusion.

Les résultats sont nuancés. Les modèles plus avancés, tels que les dernières variantes d’OpenAI, Google DeepMind et Anthropic, identifient de manière fiable le périmètre et les variables pertinents pour une question scientifique. Mais ils peinent encore à sélectionner les procédures analytiques appropriées, à modéliser les relations entre les variables et à tirer des conclusions valides qui s’alignent sur les hypothèses de la méthode choisie.

Ce n’est pas une simple histoire de passage à l’échelle : jeter plus de paramètres sur le problème ne comble pas le fossé fondamental entre la reconnaissance de motifs et le raisonnement scientifique.

Ce que le benchmark révèle sur l’IA dans la science

La recherche a des implications immédiates pour le domaine croissant des « scientifiques IA », des systèmes automatisés qui prétendent effectuer de bout en bout la revue de la littérature, la génération d’hypothèses, l’expérimentation et la rédaction d’articles. Les travaux de Shi et Ren suggèrent que ces systèmes peuvent produire des résultats d’apparence convaincante tout en commettant des erreurs logiques fondamentales qu’un évaluateur humain détecterait.

SDABench expose également un problème plus profond : la confusion entre « être capable de générer une sortie » et « comprendre la méthode appropriée ». Un modèle qui peut écrire du code Python pour effectuer un test t ne comprend pas nécessairement qu’un test t suppose la normalité et l’indépendance, ni ne peut choisir entre un test t et un test U de Mann-Whitney en fonction des caractéristiques des données.

Au-delà de la corrélation vers la causalité

L’accent mis par l’article sur le raisonnement causal et mécaniste est particulièrement opportun. L’année écoulée a vu un regain d’intérêt pour l’inférence causale au sein de la communauté IA, mais la plupart des benchmarks ne testent pas explicitement la capacité d’un modèle à distinguer corrélation et causalité. SDABench le fait, et les résultats suggèrent que cela reste une capacité de frontière que même les modèles de pointe n’ont pas conquise.

Le raisonnement mécaniste, comprendre les processus sous-jacents qui génèrent les données, est encore plus difficile. Aucun des modèles évalués n’a bien performé sur cet axe.

Implications pour l’avenir de l’IA dans la science

SDABench ne soutient pas que les LLM sont inutiles pour la science. Au contraire, il fournit un outil de diagnostic fin qui peut guider le développement. Un chercheur concevant un meilleur LLM scientifique peut désormais cibler des types d’erreurs spécifiques, tels que la sélection de procédure ou la modélisation des relations, et suivre les améliorations.

L’article soulève également une question critique pour la communauté de la sécurité et de l’alignement de l’IA : si un agent ne peut pas sélectionner de manière fiable le test statistique correct ou raisonner sur la cause et l’effet, devrait-il être autorisé à concevoir de manière autonome des expériences ou à tirer des conclusions à partir de données ? Le benchmark fournit un banc d’essai concret pour répondre à cette question.

À mesure que le domaine de la découverte scientifique pilotée par l’IA mûrit, SDABench offre une mesure rigoureuse et multidimensionnelle du progrès, et un rappel sobre que décrire un ensemble de données n’est pas la même chose que le comprendre.