Le cyber-fine-tune de Google trouve des vulnérabilités que Claude Opus 4.6 rate

Google utilise des outils de découverte de vulnérabilités dans ses propres bases de code depuis des années. Chrome, Android et YouTube sont tous scannés régulièrement, et des équipes internes comme le groupe Cloud Vulnerability Research utilisent déjà des agents automatisés pour trouver des bugs avant que les attaquants ne le fassent. Ce qui a changé cette semaine, c'est le modèle derrière ces agents.

Gemini 3.5 Flash Cyber est une version fine-tunée du modèle 3.5 Flash, optimisée spécifiquement pour les tâches de cybersécurité : trouver des vulnérabilités, les valider et générer des correctifs. Google le rend disponible via un pilote à accès limité pour les gouvernements et partenaires de confiance via sa plateforme CodeMender, et la société a refusé de dire quand ou si un accès plus large pourrait être possible.

Les résultats des benchmarks internes méritent d'être pris en compte. Sur le benchmark CyberGym, qui teste des agents IA contre des centaines de vulnérabilités réelles, 3.5 Flash Cyber a obtenu des scores compétitifs par rapport à des modèles beaucoup plus grands. Google a configuré CodeMender pour appeler le modèle jusqu'à cinq fois par vulnérabilité, puis agréger les résultats en un rapport final. Cette architecture, des appels petits et répétés bon marché au lieu d'une seule inférence coûteuse avec un grand modèle, est le choix de conception central.

Sur l'évaluation interne Big Sleep de Google, axée sur Chrome et Safari, le modèle fine-tuné a significativement surpassé à la fois le 3.5 Flash standard et le nouveau 3.6 Flash. L'écart s'est encore creusé sur le pipeline de scan des commits de production de Chrome, où 3.5 Flash Cyber a trouvé des vulnérabilités que les modèles précédents avaient complètement manquées.

La comparaison la plus frappante concerne le moteur JavaScript V8, une base de code notoirement complexe qui alimente l'exécution JavaScript de Chrome. Sur un nombre fixe d'invocations, 3.5 Flash Cyber a trouvé 55 problèmes uniques confirmés. Le 3.5 Flash standard en a trouvé 47. Claude Opus 4.6, le modèle le plus grand et le plus cher d'Anthropic, en a trouvé 36. Dix des problèmes détectés par 3.5 Flash Cyber ont été manqués par les deux autres modèles.

Ce schéma, un modèle léger capturant plus de vulnérabilités uniques qu'un modèle plus grand et plus cher, est le résultat central que Google souhaite communiquer. L'explication est simple : exécuter de nombreuses inférences bon marché permet à l'agent d'explorer plus de chemins de code qu'un seul appel coûteux. Les plus grands modèles peuvent se bloquer sur la première découverte plausible et boucler dessus, tandis qu'un essaim d'inférences plus rapides jette un filet plus large.

L'équipe Cloud Vulnerability Research de Google a mis le modèle en pratique. En deux heures, 3.5 Flash Cyber a trouvé des vulnérabilités d'exécution de code à distance dans des API publiques et a découvert une vulnérabilité de corruption de mémoire dans un service de production sensible. Il a ensuite généré un exploit d'exécution de code à distance fiable à 100 pour cent qui contournait Address Space Layout Randomization (ASLR) et Write XOR Execute (W^X), deux techniques de mitigation standard.

Google prend soin de noter la nature à double usage de la technologie. Le pilote à accès limité est explicitement conçu pour donner aux défenseurs une longueur d'avance tout en empêchant un mésusage plus large. La société indique qu'elle élargira l'accès au fil du temps mais n'a pas fixé de date pour une disponibilité plus large.

Séparément, les capacités fondamentales de CodeMender sont désormais disponibles pour tout client via la plateforme Gemini Enterprise Agent Platform, en utilisant des modèles Gemini généralement disponibles plutôt que la variante cyber fine-tunée.

La conclusion plus large concerne moins spécifiquement 3.5 Flash Cyber que la tendance qu'il représente : un fine-tuning spécialisé sur de petits modèles peut battre le passage à l'échelle brut par la force. Google dispose d'une décennie de données sur les vulnérabilités provenant d'OSV.dev, couvrant plus de 700 000 vulnérabilités open-source, et des résultats d'OSS-Fuzz remontant à plus de dix ans. Ce corpus lui permet d'entraîner un modèle sur la façon dont les professionnels de la sécurité travaillent réellement, plutôt que sur des exemples synthétiques. Le modèle apprend à utiliser des outils standard de l'industrie, à lire des millions de lignes de code dans des projets comme Chromium, et à gérer des tâches qui nécessitent des heures d'analyse continue.

L'avantage de la vitesse est également réel. Les modèles légers peuvent être intégrés dans des scans fréquents, des processus de lancement sensibles au temps, et des pipelines de scan de commits à grande échelle. Un modèle plus lent et plus coûteux pourrait être meilleur pour un raisonnement profond sur un seul chemin de code, mais le travail de sécurité bénéficie souvent de la largeur plutôt que de la profondeur.

Tout cela ne signifie pas que les grands modèles sont inutiles pour la cybersécurité. Opus 4.6 et d'autres surpassent encore sur des tâches de raisonnement complexe qui nécessitent une compréhension approfondie d'un problème étroit. Mais les résultats de Google suggèrent que pour la tâche spécifique de trouver des vulnérabilités inconnues dans une grande base de code, des modèles fine-tunés bon marché avec des architectures multi-inférences sont déjà compétitifs, et dans certains cas, meilleurs.