Le Fugu-Cyber de Sakana AI atteint 86,9 % sur les benchmarks de sécurité, mais prévient que les modèles bruts ne sont pas la solution

Le débat sur la question de savoir si les modèles d'IA de pointe sont prêts à défendre les réseaux en production atteint un nouveau sommet. D'un côté, les fournisseurs avancent que l'accès à un modèle performant est une solution miracle pour la sécurité des entreprises. De l'autre, les praticiens citent des déploiements échoués, des faux positifs et des lacunes d'intégration.

Sakana AI, surtout connue pour son modèle d'orchestration Fugu, vient de lancer une version spécifiquement conçue pour la cyberdéfense. Fugu-Cyber atteint 86,9 % sur CyberGym, un benchmark qui teste la capacité d'un agent à analyser des bases de code complexes et à vérifier des vulnérabilités réelles, et 72,1 % sur CTI-REALM, qui mesure la capacité d'un modèle à traduire des renseignements bruts sur les menaces en règles de détection exploitables. Ces scores égalent les principaux modèles de cybersécurité de pointe, GPT-5.5-Cyber et Mythos-Preview d'Anthropic.

L'annonce n'est pas seulement une publication de benchmarks. C'est une opposition calibrée à ce que Sakana appelle la « peur » suscitée par les capacités cybernétiques des modèles de pointe.

Le modèle d'orchestration derrière les benchmarks

Comme le Fugu original, Fugu-Cyber est un système multi-agents qui se présente comme un point d'accès API unique. Un utilisateur envoie une requête, et le système lance en interne des agents spécialisés pour différentes sous-tâches. Cette conception vise à éviter la dépendance à un fournisseur unique tout en fournissant des résultats qui semblent provenir d'un seul modèle.

Sakana rend l'API disponible sous un Token Plan avec une barrière de contrôle d'accès : les utilisateurs intéressés doivent soumettre un formulaire de demande expliquant leur cas d'utilisation et fournissant des coordonnées vérifiées, que l'entreprise examine manuellement avant d'accorder l'accès. La politique d'utilisation acceptable mise à jour interdit les abus offensifs.

Le rappel à la réalité que Sakana souhaite dans le secteur

Le propre commentaire de Sakana affaiblit l'argumentaire facile. L'entreprise cite un récent rapport Nikkei Digital Governance qui a révélé que les grandes institutions financières japonaises ont souvent du mal à opérationnaliser les modèles de pointe, même ceux dotés d'un raisonnement cybernétique de pointe. Sans talents internes spécialisés et une intégration profonde dans le code propriétaire, le rapport a conclu qu'un modèle performant seul ne permet pas de découvrir ou de corriger les vulnérabilités de manière fiable.

L'équipe Applied Enterprise de Sakana reprend cette leçon de son propre travail avec de grandes entreprises japonaises. Les modèles bruts, déployés de manière isolée, génèrent des faux positifs. Ils manquent le contexte des environnements de production réels. Ils nécessitent des mécanismes de vérification et des outils d'exploitation.

« Une API très performante avec un fort raisonnement cybernétique est une pièce incroyablement importante du puzzle. Ce n'est pas la solution complète », écrit l'entreprise dans son communiqué.

Ce cadrage est notable car il émane d'un fournisseur de modèles lui-même. La plupart des fournisseurs s'arrêteraient aux scores des benchmarks. Sakana décrit plutôt le travail post-vente : la construction de l'infrastructure spécialisée pour rendre le modèle sûr et fiable en production, y compris les humains dans la boucle et les sous-agents qui valident chaque vulnérabilité potentielle avant de suggérer un correctif.

Le fossé de l'entreprise

La tension entre la capacité du modèle et sa déployabilité n'est pas nouvelle. Les évaluations de cybersécurité de GPT-5.5 d'OpenAI ont montré une amélioration significative de la capacité à trouver des vulnérabilités, mais l'impact pratique de ces gains dépend entièrement de la manière dont une organisation intègre le modèle dans ses pipelines de détection et de réponse existants. Le red-teaming de Gemma 4 de Google DeepMind a également montré que même un modèle puissant nécessite une validation spécifique au domaine avant de pouvoir être utilisé en toute confiance dans des environnements sensibles.

Sakana essaie essentiellement de court-circuiter le cycle typique du battage médiatique en positionnant Fugu-Cyber comme une pièce d'une solution d'entreprise plus vaste, et non comme un produit autonome. La véritable valeur, soutient l'entreprise, vient de la combinaison du raisonnement du modèle avec une expertise locale approfondie en sécurité et des flux de vérification rigoureux.

Ce que les benchmarks mesurent réellement

CyberGym et CTI-REALM ciblent deux capacités distinctes qui comptent pour la cyberdéfense. CyberGym teste si un agent peut comprendre une base de code suffisamment pour vérifier les modèles de vulnérabilité connus, une tâche qui nécessite à la fois une compréhension large du code et des connaissances spécifiques à la sécurité. CTI-REALM teste l'autre direction : étant donné un rapport de renseignement sur les menaces rédigé pour des analystes humains, le modèle peut-il générer une règle de détection qu'un système peut réellement exécuter ?

Les deux tâches sont en plusieurs étapes et nécessitent un raisonnement qui va au-delà de la reconnaissance de formes. Un score dans les années 70 ou 80 supérieur sur ces benchmarks est un résultat sérieux.

Mais le propre rappel à la réalité de Sakana implique que les scores des benchmarks, même élevés, sont une condition nécessaire pour une cyberdéfense efficace, pas une condition suffisante. L'écart entre un taux de réussite sur le benchmark et un déploiement fiable en production reste suffisamment large pour que Sakana ait construit une équipe d'entreprise entière pour le combler.

L'argument de la souveraineté

L'entreprise lie également son approche à la « souveraineté de l'IA », un terme qui résonne particulièrement sur les marchés où les entreprises se méfient de l'utilisation de modèles de pointe étrangers pour l'infrastructure de sécurité. En orchestrant plusieurs modèles en un système unifié et en les déployant via une expertise locale, Sakana positionne Fugu-Cyber comme un moyen de maintenir les flux de travail sensibles dans des limites de confiance.

Cet argument a de fortes chances d'être bien accueilli au Japon, où Sakana est basée et où ses premiers déploiements en entreprise ont lieu.

L'essentiel

Fugu-Cyber est un modèle de raisonnement cybernétique véritablement performant, avec des scores de benchmark qui le placent dans la même catégorie que les offres d'OpenAI et d'Anthropic. Mais l'opposition qui l'accompagne contre le récit « le modèle résoudra la sécurité » est à la fois inhabituelle et bienvenue. Sakana dit essentiellement à ses propres clients que le modèle seul ne suffit pas, qu'ils ont besoin des bonnes personnes, des bons processus et du travail d'intégration pour le rendre utile.

Que le reste de l'industrie suive cette voie, ou continue de vendre l'accès aux modèles de pointe comme une solution autonome, déterminera la part de cette capacité qui finira par être utilisée dans les réseaux de production.