SafeEvolve réduit de 3x le taux de réussite des attaques contre les agents en faisant évoluer harnais et modèle ensemble

Les travaux de sécurité sur les agents basés sur des LLM choisissent généralement un camp. Soit vous durcissez l'échafaudage dans lequel l'agent s'exécute, soit vous fine-tunez le modèle jusqu'à ce que son comportement s'améliore. Un article soumis à arXiv le 2 septembre soutient que cette scission est elle-même le problème : le contrôle à l'exécution et la sécurité intrinsèque ne se renforcent jamais mutuellement, si bien que les progrès d'un côté sont discrètement dépensés de l'autre.

Intitulé « SafeEvolve: Harness-Policy Co-Evolution from Agent Experience for Safety Alignment », l'article relève de la section Intelligence artificielle d'arXiv. Sa prémisse est structurelle. La performance d'un agent est façonnée conjointement par le modèle de base et par le harnais qui médiatise son interaction avec l'environnement, ce qui signifie que le risque peut surgir deux fois : dans une réponse finale préjudiciable, ou à travers une trajectoire d'exécution multi-étapes qui ne produit jamais une phrase manifestement incorrecte.

Le harnais fait désormais partie du modèle de menace

La plupart des pipelines d'alignement traitent une seule de ces surfaces à la fois. Les mises à jour externes du harnais corrigent le runtime. L'optimisation de la politique modifie le modèle. Appliquées isolément, écrit l'article, ni l'une ni l'autre ne fait le lien entre ce que le runtime peut imposer et ce que le modèle a réellement appris à faire, et les défaillances agentiques s'accumulent dans cet écart.

SafeEvolve exécute plutôt une boucle continue. Il tire l'expérience de sécurité de trajectoires on-policy complétées, c'est-à-dire des exécutions terminées de l'agent lui-même, et utilise ces preuves pour mettre à jour les deux côtés à la fois.

Comment fonctionne la boucle de co-évolution

Du côté du harnais, le système convertit les preuves de sécurité au niveau des trajectoires en mises à jour bornées, au niveau des composants. Ces mises à jour se retrouvent dans le prompt de sécurité et dans un ensemble de compétences hiérarchiques. L'article qualifie les artefacts de harnais résultants d'auditables et de réversibles, ce qui compte pour quiconque doit expliquer a posteriori le comportement d'un agent déployé.

Du côté de la politique, SafeEvolve utilise un pipeline SFT-RL en deux étapes. Le fine-tuning supervisé d'utilisation du harnais amorce la politique pour qu'elle exploite activement les artefacts de harnais déjà évolués. Ensuite, l'apprentissage par renforcement avec des récompenses décomposées par vérificateur façonne un comportement de sécurité autonome pendant l'exploration multi-étapes, afin que l'agent ne s'appuie pas uniquement sur le harnais.

Ce que montrent les chiffres d'AgentDojo, et ce qu'ils omettent

Les auteurs rapportent des expériences sur des benchmarks de sécurité agentique et revendiquent un compromis sécurité-utilité plus fort que les baselines existantes. Le seul résultat concret dans le résumé concerne Qwen3.5-4B.

L'asymétrie de ce tableau mérite qu'on s'y arrête. L'article publie un ratio pour le taux de réussite des attaques, une réduction d'un facteur trois, mais pas les taux bruts à partir desquels il a été calculé. Les chiffres d'utilité apparaissent en valeur absolue, et l'écart est de 2,07 points de pourcentage.

Pourquoi « réversible » pèse plus que le ratio

Un mécanisme de sécurité que l'on peut inspecter au niveau des composants et annuler est un objet différent d'un réentraînement de modèle. Les équipes qui exploitent des agents dans des environnements réglementés peuvent journaliser ce qui a changé, quand cela a changé, et revenir sur un changement qui casse un travail légitime. Rien dans le résumé ne suggère que SafeEvolve a été testé face à ce type de pression de gouvernance, mais la conception des artefacts pointe la contrainte que les opérateurs rencontrent réellement.

La portée ici est modeste. Un mécanisme, des résultats de benchmark sur un petit modèle, et une question à laquelle le résumé ne répond pas : une boucle qui apprend des trajectoires propres à un agent continue-t-elle de s'améliorer avec le volume, ou finit-elle par apprendre de ses propres erreurs ? Les résultats proviennent de benchmarks de sécurité agentique, non du trafic de production.