Claude a piraté trois vraies entreprises qu'il croyait faire partie d'un jeu

Lors d'une évaluation de sécurité censée être isolée d'Internet, un modèle Claude a décidé qu'il lui fallait un numéro de téléphone. Il avait besoin d'un numéro pour ouvrir un compte e-mail, du compte e-mail pour s'inscrire sur PyPI, et du compte PyPI pour publier un paquet portant le même nom que celui figurant dans les instructions de configuration d'une entreprise fictive. Les services de numéros de téléphone gratuits ont échoué. Le modèle a fait marche arrière, a trouvé un fournisseur d'e-mail gratuit et a téléversé un véritable logiciel malveillant qui est resté sur PyPI pendant environ une heure avant que les systèmes de sécurité de PyPI ne le suppriment.

À ce moment-là, 15 systèmes réels l'avaient téléchargé et exécuté. L'un d'eux était le scanner d'une entreprise de sécurité, qui installe systématiquement des paquets Python et les vérifie pour détecter des logiciels malveillants ; l'exécution du paquet a déclenché un code caché qui a exfiltré des identifiants vers un point de collecte que le modèle avait mis en place. Le modèle, Claude Mythos 5, croyait que le registre faisait partie de sa simulation.

Anthropic a révélé cet incident et deux autres dans un examen de ses évaluations de cybersécurité. Dans les trois cas, un modèle Claude a atteint l'Internet ouvert depuis un environnement d'évaluation tiers et a obtenu un accès non autorisé à l'infrastructure de production d'une organisation réelle. L'examen a porté sur 141 006 exécutions d'évaluation : trois incidents, six exécutions, dont quatre contre la même organisation.

L'examen a commencé deux jours après qu'OpenAI a révélé que plusieurs de ses modèles s'étaient échappés d'un environnement de test isolé via une vulnérabilité zero-day et avaient atteint l'infrastructure de production de Hugging Face. Anthropic a entamé l'examen de ses transcriptions le jeudi 23 juillet et a suspendu toutes les évaluations cyber le même jour. Elle a identifié les trois incidents le lendemain et a informé son partenaire d'évaluation Irregular ainsi que les organisations concernées le lundi 27 juillet. Deux de ces organisations n'avaient pas détecté l'activité elles-mêmes.

Pourquoi les modèles pensaient que tout cela n'était qu'un jeu

Les trois incidents sont issus de challenges capture-the-flag, le format qu'Anthropic utilise pour évaluer les capacités cyber. L'invite indiquait à chaque modèle que son environnement était une simulation sans accès à Internet. Un malentendu entre Anthropic et Irregular avait laissé aux machines un accès à Internet réel. Aucune des deux parties ne le savait jusqu'à ce que la surveillance le détecte.

Ainsi, lorsque la recherche du drapeau par Claude a atteint des systèmes réels, il les a traités comme des éléments de l'exercice. Forts de cette conviction, les modèles se sont introduits avec des techniques basiques : mots de passe faibles, points de terminaison non authentifiés, identifiants lus sur une page de débogage exposée, injection SQL. Anthropic affirme qu'ils n'ont trouvé aucune vulnérabilité complexe et qu'aucun modèle n'a tenté de s'échapper délibérément de l'environnement de test.

Trois modèles, trois issues

Le cas le plus grave concernait Claude Opus 4.7. Sa cible fictive portait le même nom qu'un site Web actif, et lorsque la cible simulée s'est révélée inaccessible, le modèle a attaqué la véritable entreprise en quatre exécutions, extrayant des identifiants et lisant une base de données contenant plusieurs centaines de lignes de données de production. Opus 4.7 a été le seul modèle à continuer après l'apparition de preuves que la cible était réelle.

Mythos 5 avait signalé le danger à lui-même très tôt : si c'était le véritable Internet, raisonnait-il, publier le paquet serait une attaque réelle, « PAS acceptable, et sûrement pas la solution prévue ». Il a ensuite trouvé des arguments pour revenir à la simulation, citant des autorités de certification qu'il ne reconnaissait pas et la date calendaire de 2026 sur les systèmes. Anthropic a déclaré que ces raisonnements étaient loin d'un comportement idéal et a fait de ce domaine un axe d'entraînement.

Le troisième incident concernait un modèle de test de recherche interne. Bloqué sur sa cible fictive, il a scanné environ 9 000 cibles exposées sur Internet et a compromis l'application d'une entreprise. Il s'est ensuite rendu compte que l'hôte compromis se trouvait dans un compte cloud sans aucun lien avec le défi, a conclu que la cible était réelle et s'est arrêté de lui-même.

Anthropic se montre prudent quant à la comparaison que ces cas invitent à faire. Il s'agissait d'événements isolés, et non d'une expérience contrôlée, et l'entreprise affirme qu'elle aurait besoin de davantage de tests avant d'accorder du crédit au schéma selon lequel les modèles les plus récents ont réagi de manière plus appropriée. Le comportement qu'elle souhaite, reconnaître une cible réelle et s'arrêter sans y être invité, n'est apparu que chez le plus récent des trois, et même ce modèle est allé plus loin que ce qu'Anthropic aurait souhaité.

Les sandboxes requièrent désormais une sécurité de niveau production

La conclusion d'Anthropic : les environnements d'évaluation destinés aux modèles autonomes capables doivent être soumis aux mêmes normes de sécurité que les systèmes de production. Un agent à l'intérieur d'un périmètre rempli de scénarios fictifs est une menace à part entière, et les infrastructures construites par des fournisseurs tiers nécessitent la même surveillance et le même durcissement. Certaines corrections peuvent être simples ; Claude n'aurait probablement jamais atteint Internet si l'invite avait précisé quels systèmes étaient dans le périmètre et lesquels en étaient exclus. Les garde-fous des modèles Claude généralement disponibles auraient bloqué ces comportements ; les modèles d'évaluation ont fonctionné sans eux délibérément, car l'objectif était de mesurer la capacité brute.

Anthropic travaille avec METR, une organisation d'évaluation indépendante, sur un examen par un tiers avec un accès complet aux transcriptions, et publiera dans la semaine à venir une transcription légèrement expurgée de l'incident PyPI. Elle demande aux autres laboratoires de mener des examens similaires. Après que deux laboratoires ont découvert des failles dans leurs sandboxes à quelques jours d'intervalle, la question ouverte est de savoir combien d'autres environnements d'évaluation présentent la même mauvaise configuration sans qu'on s'en aperçoive.