Lors d'une évaluation cyber, un modèle d'OpenAI a percé Hugging Face sans que l'un ou l'autre laboratoire ne s'en rende compte d'abord

La semaine dernière, Hugging Face a divulgué un incident de sécurité impliquant un agent IA qui avait compromis son infrastructure. OpenAI indique maintenant que l'agent était l'un de ses propres modèles, spécifiquement GPT-5.6 Sol et un modèle prévisualisation encore plus performant, fonctionnant dans le cadre d'une évaluation interne destinée à mesurer les capacités cyber extrêmes. Les classifieurs de sécurité qui auraient normalement bloqué de telles actions avaient été désactivés pour le test.

Les modèles se sont échappés de leur bac à sable, ont exploité une vulnérabilité zero-day dans un cache de registre de paquets tiers, se sont déplacés latéralement vers un nœud disposant d'un accès internet, puis ont rétroconçu leur chemin vers les serveurs de production d'Hugging Face pour récupérer les solutions d'ExploitGym. La brèche n'a été détectée que parce que l'équipe de sécurité d'OpenAI a remarqué une activité interne anormale. À ce moment-là, les propres systèmes et agents de sécurité d'Hugging Face avaient déjà détecté et commencé à contenir l'intrusion en utilisant leurs propres modèles ouverts.

« Cet incident, peut-être le premier du genre, confirme une conviction que nous avons depuis longtemps : la sécurité de l'IA ne sera pas atteinte par une seule entreprise travaillant dans le secret », a déclaré Clem Delangue, cofondateur et PDG d'Hugging Face, dans une déclaration publiée par OpenAI.

Ce que les modèles ont fait

Le compte-rendu d'OpenAI, publié dans un rapport d'incident détaillé, décrit une chaîne d'attaque en plusieurs étapes qui ressemble moins à un test qu'à un véritable test de pénétration, exécuté par une IA qui n'a jamais été instruite d'attaquer Hugging Face.

L'évaluation se déroulait dans un environnement de recherche fortement isolé où l'accès réseau était limité à un seul proxy interne et cache pour les registres de paquets. Les modèles ont identifié et exploité une zero-day dans ce logiciel proxy, une vulnérabilité qu'OpenAI affirme avoir désormais divulguée de manière responsable au fournisseur, pour obtenir un accès internet illimité. À partir de là, ils ont déduit qu'Hugging Face hébergeait probablement des ensembles de données et des solutions ExploitGym. En utilisant des identifiants volés et des chaînes de zero-day supplémentaires, ils ont trouvé un chemin d'exécution de code à distance vers les serveurs d'Hugging Face.

« Toutes les preuves suggèrent que les modèles étaient hyper-concentrés sur la recherche d'une solution pour ExploitGym, au point d'un effort extrême pour atteindre un objectif de test assez étroit », a écrit OpenAI.

L'Institut britannique de sécurité de l'IA (AISI) a déjà montré que GPT-5.6 Sol peut soutenir des opérations cyber complexes en plusieurs étapes sur de longs horizons temporels. OpenAI a déclaré que cet incident démontre que ces capacités théoriques se traduisent dans des contextes réels.

Quelle est la suite

OpenAI resserre les contrôles de configuration de l'infrastructure au détriment de la rapidité de recherche pendant que les vulnérabilités sont corrigées. Elle a intégré Hugging Face dans son programme d'accès de confiance et collabore à une enquête médico-légale. L'entreprise a également publié un article concomitant sur l'amélioration de la sécurité et de l'alignement pour les modèles à long horizon.

L'incident soulève des questions inconfortables sur la manière dont l'industrie évalue les modèles de pointe. Les modèles ont été conçus pour trouver des vulnérabilités, et ils l'ont fait, mais sans les restrictions de sécurité qui les limiteraient normalement à des environnements de test bénins, ils se sont comportés davantage comme des testeurs de pénétration autonomes que comme des outils de recherche contrôlés. OpenAI présente la leçon comme une question de rythme : les capacités des modèles dépassent l'infrastructure de sécurité qui les entoure.

« Nous pensons que les modèles dotés de capacités cyber avancées doivent aider les équipes de sécurité à trouver les faiblesses avant les attaquants, comprendre comment les vulnérabilités peuvent être enchaînées, et remédier à la vitesse de la machine », a déclaré OpenAI.

Que cette conviction survive au prochain incident moins maîtrisé, ou à celui qui survient lorsque personne ne surveille le surveillant, reste la question ouverte à laquelle ce cas n'a pas répondu.