Pourquoi Microsoft ouvre les tests de sécurité de l'IA au monde

Le 'red teaming' en IA a un problème d'angle mort. La plupart des tests de sécurité se déroulent au sein des mêmes entreprises qui construisent les modèles. Cela permet de détecter les problèmes évidents, mais les modes de défaillance les plus difficiles, ceux qui n'apparaissent que dans un contexte linguistique, culturel ou d'attaque spécifique, nécessitent une expertise qu'aucune équipe interne ne peut couvrir seule.

La réponse de Microsoft est l'External Red Team Alliance, ou EXTRA. Annoncé aujourd'hui, le programme finance des chercheurs indépendants sur six continents pour effectuer des tests de résistance sur les systèmes d'IA de pointe. L'entreprise a accordé des dons sans restriction à 18 laboratoires universitaires, notamment le Security Lab de Georgetown, l'Alignment Research Group de NYU et le Risk and Security Lab de l'UC Berkeley. Il n'y a ni livrables ni exigences produit : l'objectif est de renforcer la recherche indépendante en sécurité de l'IA à l'échelle mondiale, sans l'orienter vers les priorités de Microsoft.

L'initiative comporte deux parties. La première est académique : des subventions en espèces pour que les chercheurs puissent s'attaquer à des questions difficiles et non résolues en matière de sécurité de l'IA. Certains laboratoires étudient comment les modèles peuvent être attaqués ou manipulés dans des environnements opérationnels. D'autres explorent l'inverse, comment l'IA pourrait aider les défenseurs à améliorer les opérations cybernétiques.

La deuxième partie est opérationnelle. Microsoft construit un réseau distribué de spécialistes capables de participer directement à des exercices de 'red teaming' qui nécessitent une connaissance approfondie d'un domaine, une langue particulière, un contexte régional, ou un domaine technique comme la cybersécurité ou la biosécurité. L'idée est de couvrir les surfaces d'attaque que les équipes internes ne peuvent pas traiter entièrement par elles-mêmes.

Cette structure est intentionnelle. L'équipe AI Red Team de Microsoft a constaté que des tests significatifs de systèmes avancés nécessitent souvent une participation plus large de personnes extérieures aux frontières traditionnelles de la sécurité d'entreprise. Natasha Crampton, directrice responsable de l'IA de Microsoft, a déclaré dans l'annonce que la gestion des risques liés à l'IA de pointe nécessite "une collaboration continue avec des experts qui comprennent comment ces systèmes se comportent dans différents contextes techniques, linguistiques et culturels."

Cette initiative reflète le fonctionnement de la cybersécurité. L'écosystème repose sur des chercheurs en vulnérabilité indépendants, des programmes de 'bug bounty' et des divulgations coordonnées. L'argument est que la sécurité de l'IA a besoin du même type de contrôle externe. Mike Yeh, vice-président et conseiller général adjoint pour la sécurité client et la confiance chez Microsoft, a noté que la compréhension de la manière dont l'IA de pointe peut être détournée nécessite une expertise qui traverse les institutions, les disciplines et les frontières.

Les gouvernements poussent dans la même direction. Lors du dernier Sommet mondial sur la sécurité de l'IA, plus de 30 pays ont signé une déclaration commune incluant des tests indépendants avant déploiement pour les modèles de pointe. EXTRA crée le type de capacité d'évaluation que les futures réglementations pourraient exiger, bien que les subventions n'obligent pas Microsoft à agir sur les résultats des chercheurs.

C'est la tension au cœur du programme. Un financement sans restriction préserve l'indépendance académique, mais cela signifie aussi que Microsoft peut choisir quels résultats prendre au sérieux. Le véritable test sera de savoir si les résultats des 'red team' externes conduisent à des changements concrets avant le lancement d'un modèle, ou s'ils deviennent une conversation parallèle que l'industrie peut ignorer.

EXTRA est un pas significatif vers un modèle plus ouvert de tests de sécurité de l'IA. Si cela suffira dépendra de ce qui adviendra des résultats.