Les tuteurs IA aident trop par conception. Un nouveau benchmark le quantifie

Un modèle mathématique qui résout des problèmes n'est pas la même chose qu'un modèle mathématique qui enseigne. L'écart réside dans un jugement qui se répète à chaque séance : cet élève a-t-il besoin d'un soutien immédiat, ou d'une incitation à faire le raisonnement lui-même ? L'équipe à l'origine de TutorMoments, un benchmark construit à partir de 462 retranscriptions réelles de tutorat individuel en mathématiques, l'a présenté cette semaine avec un constat sans détour : livrés à leurs instincts par défaut, les modèles de langue aident trop.

Pourquoi les benchmarks de tuteurs ont raté le moment crucial jusqu'ici

La plupart des évaluations existantes des tuteurs IA récompensent un comportement fixe, que ce soit ne jamais donner la réponse ou toujours proposer un indice. Le problème, comme le formulent les auteurs de TutorMoments, c'est qu'aucun des deux n'est adapté à toutes les situations. Un bon tutorat est une question de jugement sur ce dont cet élève a besoin, à ce moment précis, sur ce problème, et une grille fixe ne peut pas voir l'élève.

L'angle mort se manifeste dans tout le domaine. K12-Bench, une évaluation de l'université de Pékin sur la qualité de compréhension des mathématiques scolaires par les modèles, a constaté que même des modèles puissants saisissent à peine la manière dont les concepts se relient, obtenant 57 % et 46 % sur des éléments construits autour de chaînes de prérequis et de taxonomies de concepts, le tissu conjonctif qu'un tuteur réel utilise quotidiennement. SDABench, qui teste 15 modèles sur six compétences de raisonnement scientifique, les a trouvés solides sur les questions descriptives et défaillants sur les questions inférentielles et causales. Le schéma est le suivant : les modèles améliorent leur capacité à savoir des choses, tandis que la compétence la plus difficile, décider quoi faire de ce savoir dans une situation précise, reste non mesurée.

Les enjeux ont grandi entre-temps. Un cours du Dartmouth College où un tuteur IA a affiché des tailles d'effet allant jusqu'à 1.30 écart-type a produit des gains d'apprentissage rarement observés dans une salle de classe réelle, où les interventions typiques oscillent autour de 0.4 écart-type. Plus le domaine accorde de confiance au tutorat par IA, plus il importe que ce jugement à chaque instant soit précisément ce que les benchmarks n'ont pas mesuré.

Avec pour seule consigne de « bien tutorer », les modèles se précipitent pour aider

TutorMoments-Preview comprend 462 retranscriptions textuelles dépersonnalisées d'un programme de tutorat américain à forte dose desservant principalement des écoles Title I, avec des élèves de la 2e à la 7e année. Vingt-sept enseignants annotateurs ont signalé plus de 1 500 moments clés, chacun étant un point de décision où le tuteur devait peser l'étayage (rendre le problème plus accessible) contre l'exigence de rigueur (demander une réflexion plus avancée).

L'évaluation interrompt une retranscription à l'un de ces moments et confie la séance à un modèle de langue, qui tuteure un élève simulé pendant cinq tours. Un pipeline de notation, partant de l'étiquette majoritaire des enseignants pour chaque moment, vérifie si le modèle a étayé lorsque le soutien était nécessaire, a poussé à la rigueur lorsque l'élève était prêt, et a évité le sur-étayage.

Sept modèles ont exécuté le dispositif deux fois : une fois avec une consigne simple leur demandant d'utiliser ce qu'ils savent d'un bon tutorat, une fois avec le compromis explicitement formulé. La tendance la plus nette des résultats est l'importance de la consigne. Chaque modèle obtient de meilleurs scores avec la consigne explicite, ce qui suggère que le comportement par défaut d'« assistant serviable » d'un modèle ne suffit pas à lui seul pour bien tutorer. Mais expliciter le compromis n'a qu'un effet limité. Les modèles diffèrent encore beaucoup dans la fiabilité de leur décision, et l'écart avec un tutorat humain qui s'adapte constamment au moment ne se referme pas. Lorsqu'ils poussaient à la rigueur, les modèles s'appuyaient sur un ensemble restreint de tactiques, consistant surtout à demander aux élèves d'expliquer leurs réponses, tandis que les tuteurs humains utilisaient des stratégies plus variées et étaient bien plus susceptibles de prendre du recul et de laisser l'élève travailler en autonomie.

La référence humaine obtient des scores plus bas. Ce n'est pas le plus important

Voici la partie qui sera citée hors contexte. Évalués de la même manière aux mêmes points de décision, les tuteurs humains des retranscriptions se situent sous les modèles : 0.458 pour l'étayage approprié, 0.182 pour la rigueur appropriée, 0.496 pour l'évitement du sur-étayage, le tout sur 1. Les scores des modèles avec la consigne sensible à l'évaluation se situent au-dessus de ces seuils.

Les auteurs sont explicites : ce n'est pas une affirmation selon laquelle les tuteurs IA surpassent les enseignants humains. Les annotateurs cherchaient des moments où le tutorat aurait pu être meilleur, si bien que l'ensemble de données se concentre sur les occasions manquées, et non sur une pratique idéale. Deux autres réserves : les scores mesurent le comportement du tuteur, et non l'apprentissage, puisque les rediffusions se déroulent avec un élève « oracle » simulé ; et la rigueur est le signal le plus bruité, avec moins de moments de rigueur annotés (260 contre 738) et un pipeline de notation qui détecte moins fiablement les incitations à la rigueur.

Ce que le marché de l'edtech devrait en retenir

Pour les équipes produit, le levier principal est la conception de la consigne. Expliciter le compromis améliore tous les scores, ce qui indique que la serviabilité par défaut d'un assistant général est le mauvais réglage pour le tutorat. Le même résultat avertit qu'une meilleure consigne n'est pas une solution : la conclusion de K12-Bench renforce l'avertissement, car un tuteur qui ne sait pas quels concepts sont des prérequis pour d'autres aura du mal avec la décision exacte que mesure TutorMoments.

Le contexte commercial est réel. Khanmigo, construit sur GPT-4, a montré des promesses mais a publié peu de données d'efficacité contrôlées, tandis que les leçons d'IA de Duolingo et des startups comme Querium et Photomath ont lancé des fonctionnalités de tutorat avec des résultats variables. Un benchmark capable de dire à un tuteur IA quand il fait le travail à la place de l'élève est précisément ce dont toute la catégorie a besoin, même s'il ne mesure que le comportement à un point de décision. Les auteurs tracent eux-mêmes cette limite : l'évaluation automatisée ne peut pas remplacer des études avec de vrais élèves et de vrais résultats d'apprentissage, et l'ensemble de données est étroit, basé aux États-Unis, principalement des mathématiques de primaire et de collège, annoté par un seul groupe d'enseignants. Ils travaillent à un ensemble de données multimodal plus vaste et à un pipeline de notation plus robuste, et ils ont publié les retranscriptions, le code de rediffusion et les rediffusions des modèles afin que chacun puisse relancer l'évaluation.

Pour l'instant, la conclusion est assez nette. Le domaine dispose enfin d'un instrument qui observe un tuteur prendre sa décision, et les premières lectures indiquent que les modèles savent faire les maths mais ratent l'enseignement. Le prochain benchmark à suivre accompagnera de vrais élèves, car un jugement sur le niveau d'aide dont un apprenant a besoin ne peut être validé que là où l'apprentissage a réellement lieu.