Le gain de 15,1 points de SIRF réside dans les poids, pas dans le prompt

L'affirmation des 15,1 points et le contrôle qui la soutient

Le chiffre phare du résumé de SIRF, 71,3 % de Black Recall@P95, ne dit presque rien à lui seul. Le résumé ne nomme aucune plateforme de production et ne définit jamais ce que « Black » ou le seuil P95 signifient. Le nombre ne prend de poids qu'une fois que l'on voit ce qui se trouve en dessous : une comparaison construite pour qu'exactement une chose change.

Les auteurs ont fait tourner Qwen3-8B-SFT et SIRF-8B-SFT sur la même source, avec une injection de politique identique et le même format de sortie en verdict uniquement. La seule différence était le préentraînement continu fondé sur la politique de SIRF. SIRF-8B-SFT atteint 71,3 % de Black Recall@P95, soit un écart de 15,1 points par rapport à une référence que l'arithmétique situe à 56,2 %. Ce contrôle est la contribution. Un backbone plus puissant ou un meilleur prompt aurait confondu les deux bras.

Une seconde comparaison, plus fragile, se cache derrière : parmi les modèles inclus qui exposent les logprobs sous cette interface, SIRF égale ou dépasse des systèmes bien plus grands.

Ce que signifie « spécifications internalisées » : préentraînement continu sur une politique synthétique

SIRF signifie Spec-Internalized Risk Foundation Model, et le nom décrit un pipeline d'entraînement plutôt qu'une architecture. Les auteurs développent les documents de politique existants d'une plateforme en données d'entraînement sans commanditer de nouvelle annotation humaine. Trois étapes nommées font ce travail : EntiGraph, la réécriture MAGA et la chaîne de pensée au niveau du compte. Le corpus rentre ensuite dans le modèle par préentraînement continu, de sorte que les règles finissent dans les poids plutôt que d'être reformulées à chaque requête.

Le contraste est avec la pile de garde-fous que font tourner la plupart des équipes. L'injection au moment du prompt et la récupération sur un index de règles gardent la politique en dehors du modèle. C'est pratique quand les règles changent toutes les heures, et coûteux quand ce n'est pas le cas : chaque requête paie pour les reformuler, et chaque reformulation invite à la dérive. Le préentraînement continu paie ce coût une fois, et le budget de l'article pour ce changement est faible selon les normes des modèles de fondation, à environ 70 millions de tokens CPT.

Précision et latence de l'ordre de la seconde, pas précision moyenne

Le résumé commence par rejeter la métrique que la plupart des articles sur les modèles mettent en avant : la précision moyenne n'est pas la contrainte déterminante, écrivent les auteurs. Ce qui compte, c'est la quantité de risque qu'un système peut gérer sans humain, à haute précision, sous une latence de l'ordre de la seconde.

Lisez cela comme une affirmation opérationnelle plutôt que de machine learning. Un modèle qui obtient de bons scores en moyenne mais arrive trop lentement pour attraper une fenêtre en direct, ou avec une précision insuffisante pour que les relecteurs doivent revérifier la plupart de ses décisions, ne réduit ni les effectifs ni l'exposition. La forme du déploiement découle de la contrainte : SIRF renvoie un verdict et rien d'autre. Aucune justification, aucune chaîne de pensée au moment de l'inférence, rien qu'un relecteur doive lire avant d'agir.

SIRF s'exécute à l'intérieur d'une couche d'arbitrage par modèle arborescent, qui, selon les auteurs, récupère 20 % de plus d'échantillons mal pénalisés. C'est l'affirmation de production la plus concrète du résumé et la moins vérifiable de l'extérieur.

Transfert, coût et ce que 70 millions de tokens achètent

Deux résultats secondaires pèsent plus lourd que leur place ne le suggère. SIRF se transfère à un scénario de gel à faible coût, avec une réduction relative d'environ 70 % des pénalisations erronées. Et l'exécution du CPT, selon les auteurs, n'a pas nui aux capacités générales, la victime habituelle lorsqu'un modèle est fortement ajusté sur un domaine étroit.

Cette deuxième affirmation est celle sur laquelle il faut insister. « Sans nuire aux capacités générales » nécessite une batterie de benchmarks avec des scores avant et après, et le résumé n'en offre aucun. Le résultat de transfert est encore plus mince : le scénario de gel apparaît dans une seule proposition, sans détail sur la taille de l'évaluation ni sur la réutilisation ou non du même corpus de politiques.

Ce que le nombre de tokens soutient, c'est un argument de coût. Soixante-dix millions de tokens de préentraînement continu constituent une exécution modeste à côté du budget derrière le backbone dont il est parti. L'affirmation à tester n'est pas que SIRF est bon marché à construire une fois, mais que l'internalisation est assez bon marché pour être répétée par plateforme. C'est ce que « spécifications internalisées » doit signifier commercialement : un pipeline qui transforme la politique privée de chaque plateforme en son propre checkpoint, pas un modèle qui généralise à travers les recueils de règles.

Ce que le résumé laisse en suspens

Quatre lacunes ressortent pour quiconque évalue le résultat.

• Évaluation par les pairs : la fiche indique une date de soumission au 10 septembre 2026 dans cs.AI et aucun lieu de publication. Des chiffres de prépublication, donc.
• Provenance : les données de politique proviennent d'un ensemble de règles d'une seule plateforme, décrit comme complexe mais non nommé. Aucun second déploiement n'est rapporté.
• La limite extérieure de la comparaison : « parmi les modèles inclus, disponibles en logprob sous cette interface » est un champ étroit. Les modèles qui n'exposent pas les logprobs se situent hors de l'affirmation.
• Latence : le cadrage repose sur une inférence à l'échelle de la seconde et à très faible latence, mais le résumé ne donne aucun chiffre en millisecondes pour le modèle ou la couche d'arbitrage.

La comparaison contrôlée est le meilleur atout de l'article et son plafond. Un deuxième recueil de règles et un troisième backbone testeraient si l'internalisation tient.