Stability AI a signalé 13 cas de CSAM au NCMEC dans son premier rapport de transparence

Stability AI a publié son premier rapport annuel de transparence sur l'intégrité en juillet 2025, couvrant la période d'avril 2024 à avril 2025. Le document, diffusé sur la page Child Safety de l'entreprise, divulgue le nombre de signalements CSAM envoyés au NCMEC, les métriques de son programme de red-teaming et les garde-fous intégrés dans ses modèles d'image, vidéo, 3D et audio.

Le chiffre principal est de 13 signalements au NCMEC. L'entreprise indique que plusieurs signalements ont pu être soumis pour le même utilisateur lorsque plus d'une tentative de téléchargement d'image a été détectée. Aucun CSAM n'a été trouvé dans les ensembles de données d'entraînement de l'entreprise pendant la période de référence, et aucun de ses modèles d'IA générative n'a présenté de capacités de génération de CSAM ou CSEM après les tests de stress. Le rapport note également qu'aucun signalement CSAM soumis par un utilisateur n'a atteint Stability AI.

Une pile de sécurité en couches

L'approche de sécurité de Stability AI repose sur trois couches : le filtrage des données d'entraînement, la prévention des abus au niveau du modèle et de la plateforme, et l'application de sa politique d'utilisation acceptable. Les données d'entraînement proviennent d'ensembles de données ouverts, de sites Web publics, de partenaires tiers et de données synthétiques générées par des chercheurs. L'entreprise indique utiliser des classificateurs NSFW internes et open source, ainsi que des listes de hachage CSAM industrielles de Thorn's Safer et de l'Internet Watch Foundation, pour pré-filtrer ses données d'entraînement. Aucun CSAM n'a été détecté.

Au niveau de l'API de la plateforme, Stability AI exécute des filtres et classificateurs de contenu en temps réel qui bloquent les entrées et sorties violant la politique, et intègre le hachage CSAM de Thorn pour détecter et bloquer les CSAM connus. Au niveau du modèle, l'entreprise applique un fine-tuning et des LoRAs de sécurité informés par un red-teaming structuré. Le red-teaming a couvert 100 % des modèles d'IA générative de l'entreprise. L'entreprise a également collaboré avec l'Online CSEA Covert Intelligence Team (OCCIT), une unité de police britannique, pour tester son modèle Stable Diffusion 3 avant sa sortie, et n'a trouvé aucune capacité de génération de CSAM.

Lacunes de provenance

Le rapport reconnaît que la provenance du contenu via les métadonnées C2PA n'est mise en œuvre que pour les images, vidéos et audios générés via l'API (le format wav utilisé pour les effets sonores et les riffs d'instruments, que l'entreprise considère comme ne présentant aucun risque CSEM). Les modèles publiés ouvertement n'incluent pas de balises C2PA. L'entreprise indique avoir rencontré des défis avec les solutions de tatouage non C2PA qui ont dégradé la qualité de sortie des images, et continue d'explorer des approches plus efficaces.

"La provenance du contenu n'a pas été mise en œuvre pendant le processus de génération de contenu pour nos modèles publiés ouvertement. Ce sont des domaines qui nécessitent un travail supplémentaire pour renforcer la provenance et la traçabilité dans nos systèmes."

Partenariats et perspectives

Au-delà du rapport de transparence, Stability AI a élargi son empreinte commerciale. L'entreprise a lancé sa suite Image Services sur Amazon Bedrock, apportant des outils comme Inpaint, Erase, Remove Background et Style Transfer à l'infrastructure AWS. Elle a également annoncé un partenariat stratégique avec Electronic Arts pour co-développer des modèles d'IA générative et des flux de travail pour le développement de jeux, en commençant par accélérer la création de matériaux PBR et la pré-visualisation d'environnements 3D à partir de prompts.

Le rapport de transparence lui-même indique que l'entreprise surveille les évolutions réglementaires et prévoit d'aligner ses pratiques sur les cadres émergents d'IA responsable.