Les LLM connaissent les formules comptables. FinIndices montre qu'ils ne savent pas les appliquer

Retirez la feuille de formules et le modèle trébuche. C'est la lecture la plus directe de FinIndices, un nouveau benchmark construit à partir des états financiers réels d'entreprises chinoises cotées, avec des rapports non recadrés pouvant atteindre 32 000 tokens. Face à des formules explicites, les LLM performants gèrent raisonnablement bien les tâches à indicateur unique. Retirez les indices et les scores s'effondrent. Gemini-3.1-Pro est passé de 70,70 % à 38,22 % sur les tâches de tableaux, une chute que les auteurs de l'article attribuent à un « appariement de motifs fragile » plutôt qu'à une véritable compréhension de la structure comptable.

FinIndices, publié sur Hugging Face, est conçu pour tester ce que les benchmarks financiers existants contournent : la capacité des modèles à traiter de véritables états financiers de bout en bout, plutôt qu'à répondre à des questions à choix multiples sur des tableaux recadrés. Il comprend deux types de tâches. Single-Index demande un indicateur financier calculé à partir d'états longs et riches en éléments de distraction. Table-Index demande plusieurs indicateurs sur plusieurs périodes, livrés sous forme de HTML structuré, de JSON ou d'un tableau. La seconde tâche existe parce que les flux de travail financiers réels aboutissent à des tableaux comparatifs, et non à des nombres isolés.

Le goulot d'étranglement des connaissances : mémorisé, pas compris

La première conclusion de l'article, le goulot d'étranglement des connaissances, est que les LLM ont absorbé les formules comptables au cours du pré-entraînement sans intérioriser quand les utiliser. Le signe en est l'endroit où apparaissent les défaillances : distinguer les dettes portant intérêt des dettes n'en portant pas lors du calcul du capital investi, séparer les capitaux propres attribuables à la société mère des capitaux propres totaux lorsque les intérêts minoritaires sont en jeu, et faire correspondre les variables de flux du compte de résultat avec les variables de stock moyennes du bilan. Les normes comptables chinoises (CAS) ajoutent leurs propres pièges, avec des postes tels que les pertes de dépréciation de créances et les gains ou pertes non opérationnels que les modèles doivent rattacher aux bons indicateurs.

Les formules de FinIndices sont sélectionnées à partir de sources faisant autorité, notamment les CAS, les manuels d'analyse des états financiers et les références en finance d'entreprise, et le jeu de test a été audité manuellement par des experts du domaine pour la validité comptable et l'exactitude numérique. Une fois les indices retirés, la dé-cumulation temporelle se fausse et des écarts de calibre stock-flux apparaissent. La chute de 32 points sur les tâches de tableaux en est le symptôme visible ; l'article y voit la preuve que la compétence financière de niveau benchmark est souvent un appariement de motifs superficiel.

Le goulot d'étranglement structurel : les tableaux épuisent le raisonnement

La seconde conclusion est plus surprenante. Les modèles qui exécutent parfaitement des dérivations isolées régressent vers des heuristiques superficielles lorsqu'on leur demande de remplir des tableaux multi-indicateurs et multi-périodes. L'article appelle cela le goulot d'étranglement structurel : la structure de sortie est une charge réelle sur la capacité de raisonnement, et non une simple préoccupation de formatage.

Sous cette pression, les modèles récupèrent des colonnes adjacentes incorrectes, substituent une arithmétique littérale paresseuse à des ajustements comptables plus profonds, mélangent les périodes de reporting et utilisent à mauvais escient les soldes d'ouverture. Plus la sortie est dense, plus le raisonnement se dégrade. Pour les équipes qui créent des outils transformant les états financiers en tableaux prêts à l'audit, c'est la conclusion la plus importante.

L'hallucination est le mode de défaillance par défaut

FinIndices inclut également des cas adverses où les rapports requis sont entièrement absents. La bonne réponse est « informations insuffisantes », pas un nombre. Le mode de défaillance que le benchmark est conçu pour détecter est le chiffre confiant halluciné quand même. Pour un agent financier, savoir quand dire « je ne peux pas dire » est tout le travail.

Le même schéma apparaît au-delà de la finance

La finance est un banc d'essai impitoyable, mais pas le seul domaine où cette fracture apparaît. SDABench, un benchmark orienté compétences couvrant six aptitudes de raisonnement scientifique, a constaté que les modèles sont forts en analyse descriptive mais s'effondrent sur les tâches inférentielles et causales. Même l'intégrité de tests de raisonnement plus anciens a été remise en question : des audits de GSM8K, l'ensemble de mathématiques de niveau primaire, ont révélé des taux d'erreur allant jusqu'à 42 % dans ses questions.

Des scores élevés sur des questions contrôlées surestiment ce que les modèles peuvent faire en conditions réelles. FinIndices est conçu pour être impitoyable avec cette surestimation.

Le fine-tuning peut restaurer une partie de la structure

L'article apporte quelques bonnes nouvelles aux développeurs de modèles. Le fine-tuning supervisé a produit des gains substantiels sans indice, de +8,54 % sur Single-Index et +3,82 % sur Table-Index, selon l'article. La logique structurée peut être partiellement restaurée grâce à un alignement centré sur les données, même si la question posée par l'article, à savoir si les LLM possèdent un véritable raisonnement structurel ou seulement un appariement de motifs superficiel, reste ouverte.

Un modèle qui ne performe qu'avec la feuille de formules sous les yeux n'a pas appris la comptabilité ; il a appris à la reconnaître. Pour les équipes qui déploient des agents financiers, cette distinction n'est pas académique.