Les goulots d'étranglement structurés surpassent la magie des prompts dans les tâches d'induction des LLM

Depuis des mois, un nombre croissant d'articles avertissent que l'auto-raffinement des LLM est fragile : demander à un modèle de critiquer et de réviser sa propre production dans un contexte unique peut dégrader les performances. Une nouvelle prépublication d'un chercheur de l'Université de Pékin propose un correctif structurel : remplacer les fenêtres de contexte monolithiques par des étapes isolées par rôle, reliées uniquement par un état symbolique compressé.

La méthode, appelée Hourglass reasoning, traite le LLM figé comme un méta-constructeur qui construit un encodeur-décodeur symbolique pour chaque tâche. Un module d'induction compresse les exemples few-shot en un schéma φ et un échafaudage transitoire z. Un module de déduction dérive une règle de transformation T et élimine z. Un implémenteur compile ensuite (φ, T) en artefacts exécutables. En cas d'erreur, un raffineur révise (φ, T), et non la sortie, et régénère à partir de zéro. Seul (φ, T) traverse les frontières des étapes.

Sur trois benchmarks (abstraction visuelle, synthèse matérielle et induction de règles textuelles), le même pipeline indépendant du domaine produit des gains constants. Sur ARC-AGI-2, Hourglass améliore la précision pass@5 de 14 points avec GPT-5.5 (de 62,8 % à 76,8 %) et de près de 10 points avec Gemini 3.1 Pro (de 76,9 % à 86,7 %). Sur la sous-tâche de synthèse Verilog de ChipBench, elle double presque la précision de GPT-5.5, passant de 31 % à 58 %.

Pourquoi l'auto-raffinement naïf échoue

L'auto-raffinement standard fonctionne dans un contexte unique et dense : exemples bruts, code actuel, retour d'erreur et instructions de réparation coexistent sans partition. Le modèle a tendance à s'ancrer sur des détails perceptuels de bas niveau plutôt que d'abstraire la règle latente. Lorsque le retour d'exécution arrive, il corrige directement le code, en durcissant des branches conditionnelles pour des coordonnées spécifiques à l'exemple, plutôt que de réviser une règle explicite.

L'étude d'ablation du document sur ARC-AGI-2 isole le facteur décisif. Lorsque les mêmes intermédiaires structurés sont produits à l'intérieur d'une fenêtre de contexte monolithique (Structured Self-Refine), la précision s'effondre en dessous même de la référence Self-Refine non contrainte, passant de 76,9 % à 59,9 % sur Gemini 3.1 Pro. L'isolement physique du contexte entre les étapes est nécessaire.

La suppression de tous les prompts auxiliaires (Hourglass-Plain) ou de toutes les contraintes de formatage sur φ et T (Hourglass-Unstructured) laisse les performances pratiquement inchangées. La suppression de φ et T de l'entrée du raffineur (Code-Only) n'entraîne qu'une baisse marginale. Le gain persiste tant que la topologie isolée par rôle est préservée.

Le résultat qui surprend

Le résultat le plus provocateur de la méthode provient de BBEH-Linguini, un benchmark d'olympiade de linguistique où des travaux antérieurs ont montré que la verbalisation explicite des règles peut nuire aux performances. Self-Refine dégrade sévèrement la précision sur les deux modèles, passant de 67,4 % à 27,8 % sur GPT-5.5, et de 68,1 % à 33,3 % sur Gemini 3.1 Pro. Hourglass récupère approximativement la référence Raw Prompt sur GPT-5.5 (63,1 %) et la dépasse de près de 12 points à pass@5 sur Gemini 3.1 Pro (79,9 %).

L'auteur attribue l'effondrement de Self-Refine à deux mécanismes entrelacés : la compression avec perte (chaque itération de verbalisation d'une règle induite aggrave la perte d'information) et l'enchevêtrement du contexte (la génération de règles, l'exécution et le retour coexistent dans un contexte unique, rendant le modèle sujet à la distraction attentionnelle et à l'application incohérente des règles). Hourglass atténue les deux en imposant que l'état symbolique (φ, T) soit le seul canal persistant d'information.

Le coût de l'isolement

L'isolement des rôles a un coût en termes de tokens. Sur GPT-5.5, une seule exécution d'Hourglass consomme en moyenne 61 911 tokens pour 3,7 appels API, contre 19 594 tokens pour 1,4 appels pour la référence monolithique Self-Refine, soit environ un facteur 3. Sur Gemini, l'écart est plus faible : 122 007 tokens (4,4 appels) contre 61 426 tokens (1,7 appels), soit environ un facteur 2. L'article note que les comparaisons principales ne sont pas ajustées en termes de calcul, bien que l'ampleur des gains suggère que le compromis peut être acceptable pour des tâches de raisonnement à enjeux élevés.

Et ensuite : méta-stratégies

L'implémentation actuelle d'Hourglass est éphémère : l'état symbolique est éliminé une fois la tâche résolue et redérivé à partir de zéro pour la suivante. L'article envisage un Meta-Hourglass qui accumulerait des méta-stratégies réutilisables d'une tâche à l'autre, analogue à la façon dont un météorologue humain s'appuie sur le même schéma mental (rechercher des périodicités, segmenter en régimes, identifier des anomalies) face à une nouvelle série temporelle, quel que soit le domaine.

Ces méta-stratégies ne prescrivent pas d'opérations exactes, ni ne garantissent l'exactitude, mais elles élèvent systématiquement l'analyse au-dessus de l'arbitraire.

La question de savoir si ce méta-raisonnement peut être appris reste ouverte. Mais le résultat central de l'article, à savoir que la topologie du flux d'information, et non le langage utilisé pour l'exprimer, détermine le raisonnement inductif dans les LLM figés, suggère une voie qui repose sur la conception structurelle plutôt que sur des modèles plus grands ou des prompts plus sophistiqués.