Le pipeline IA a trois fuites silencieuses, et chaque correctif en aggrave une

Des chercheurs de l'Université de Washington ont démontré que l'empoisonnement des données de pré-entraînement via du spam automatisé de commentaires est une menace réaliste et peu coûteuse. Leur analyse HalfLife a révélé que seulement 0,13% du poison injecté survit à l'ensemble du pipeline de données jusqu'au modèle entraîné, ce qui est déjà suffisant pour dépasser les seuils d'attaque connus pour les modèles entraînés sur Common Crawl. Ce chiffre semble minime. Il ne l'est pas : 0,13% de survie signifie que les étapes de filtrage entre le web scraping brut et le corpus d'entraînement, déduplication, évaluation de qualité, filtres de toxicité, sont loin d'être suffisantes pour arrêter un attaquant motivé et à faible budget qui souhaite simplement laisser des commentaires sur suffisamment de pages.

Les détecteurs conçus pour attraper le contenu IA ont l'effet inverse

La réponse au contenu synthétique et manipulé a généralement été de construire de meilleurs détecteurs d'IA. Un article récent complique cette réponse directement, en arguant que les détecteurs de LLM imparfaits déforment les incitations des utilisateurs d'une manière qui augmente l'utilisation de l'IA et réduit la qualité des sorties plutôt que de la réduire. La logique est contre-intuitive mais n'est pas difficile à suivre une fois énoncée : si un détecteur est connu pour être contournable, son existence apprend aux utilisateurs comment l'éviter plutôt que de décourager le comportement sous-jacent, et si le détecteur produit des faux positifs contre l'écriture humaine authentique, il pousse les gens à s'appuyer davantage sur des outils d'IA qui produisent au moins une signature prévisible et contournable. Un mécanisme d'application imparfait peut former la population qu'il est censé dissuader.

Même les systèmes censés détecter la triche peuvent être contournés par le même mode de défaillance

Un article sur la détection de fraude dans les graphes a trouvé quelque chose d'également inconfortable au sein de son propre domaine : sur deux des trois ensembles de données testés, le modèle le plus performant était celui qui évitait délibérément d'utiliser des preuves dérivées des étiquettes d'entraînement, des preuves qui semblaient prédictives pendant l'entraînement parce qu'elles divulgaient des informations sur les étiquettes elles-mêmes plutôt que de refléter de véritables signaux de fraude. En termes simples, le meilleur "détecteur de fraude" du classement détectait en partie la structure de ses propres données d'entraînement plutôt que la fraude réelle. C'est le même type de problème que l'empoisonnement des données et l'évasion de détection : un système entraîné contre un proxy imparfait apprend à exploiter le proxy au lieu de résoudre la tâche réelle.

Un mode de défaillance, trois surfaces

L'empoisonnement du pré-entraînement, l'évasion de détection et la fuite d'étiquettes dans la détection de fraude ressemblent à trois coins non liés de la recherche en IA. Ce sont les mêmes modes de défaillance habillés différemment : chaque fois qu'un système de défense ou de mesure s'appuie sur un signal proxy, que ce soit un filtre de contenu, un classificateur de détection ou une étiquette d'entraînement, un adversaire ou une pression d'optimisation non intentionnelle finira par trouver l'écart entre le proxy et ce qu'il était censé mesurer. Corriger une surface ne corrige pas le schéma. Un meilleur filtre de pré-entraînement n'arrête pas l'évasion de détection. Un meilleur détecteur d'IA n'arrête pas la fuite d'étiquettes dans un modèle de fraude non lié. Chaque correction est nécessaire et aucune n'est suffisante, car le problème sous-jacent n'est pas la faiblesse d'un filtre spécifique, mais le fait que chaque filtre du pipeline est une cible dès qu'il devient porteur de charge.

Le point pratique pour quiconque construit ou utilise ces systèmes est d'arrêter de considérer une quelconque mesure de sécurité unique, filtrage de contenu, détection d'IA, notation de fraude, comme un problème résolu avec un état permanent. Chacune est une cible mobile qui se dégrade dès que suffisamment de personnes, ou suffisamment de pression automatisée, apprennent sa forme. Auditer ce qu'une défense mesure réellement, et pas seulement si son chiffre de précision a l'air bon, est la seule réponse qui se généralise à travers ces trois histoires.