Personne ne peut définir le « AI slop ». Ce jeu de données ouvert fait la moyenne des réponses.

SlopFinder est un MVP précoce qui emprunte une idée éprouvée et la dirige vers un terme que personne n'a réussi à définir. L'idée éprouvée est la perception participative : montrer quelque chose à des gens, recueillir une évaluation, passer à la suite. La cible est le « AI slop », l'étiquette qui domine aussi bien les sections de commentaires que les discussions sur les politiques des plateformes, mais qui s'effondre dès que l'on tente de la cerner.

La mécanique est minimaliste à dessein. Le projet extrait des échantillons de textes générés par IA de jeux de données existants, les affiche de manière anonyme et recueille une seule évaluation par visiteur : un unique contrôle demandant à quel point le texte est bâclé. Pas de catégories, pas de formulaires. Dès qu'un échantillon accumule suffisamment de votes, il est exporté vers Hugging Face comme données ouvertes pour que chacun puisse les utiliser. L'équipe le présente comme un MVP précoce, avec un petit jeu de données et un système encore en évolution.

Ce que SlopFinder mesure réellement

Le passage de la définition à la mesure est la vraie histoire. Le cadrage du projet est explicite : SlopFinder ne définit pas le slop, il mesure la version perçue et moyennée de ce que les humains appellent slop. Le jeu de données est une collection de nombreuses définitions opératoires, certaines proches de l'objectivité, d'autres purement subjectives.

Ce pari a un précédent éprouvé. Le LMSYS Chatbot Arena classe les modèles selon la préférence humaine en aveugle sur une échelle Elo, avec près de cinq millions de votes qui resserrent aujourd'hui les meilleurs laboratoires dans une fourchette de 25 points. Arena n'a jamais défini le « bon » pour classer les modèles. SlopFinder parie que la même logique vaut à l'extrémité négative de la qualité.

Pourquoi le slop résiste à une définition fixe

Le commentaire d'un contributeur précoce montre pourquoi le terme ne se laisse pas cerner. Pour certains lecteurs, le slop signifie simplement faible qualité ou faible effort. Pour d'autres, il est lié à un mode de défaillance spécifique : des images générées où les mains ou les yeux brisent l'illusion, même dans des rendus stylisés comme les dessins au fusain ou les croquis. Ce même commentateur estime à environ un sur quarante le taux d'images générées utilisables en l'état.

Une autre comparaison vient du jeu vidéo : des vitrines remplies de ce que le commentateur appelle des projets « baby's first FPS », assemblés à partir de code source acheté, d'assets recyclés, de textures dessinées à la main et d'une carte faible, puis vendus au lieu de servir de tremplin vers quelque chose de mieux. Des mains cassées sont un défaut objectif. Un asset flip paresseux est un jugement sur l'effort et l'intention. Le plaisir est un troisième axe : un contenu agréable a du mérite, tandis qu'une production qui brise la logique de base « fait mal au cerveau ». Une seule définition devrait couvrir ces trois aspects à la fois, ce qui explique précisément pourquoi le projet refuse d'en écrire une.

La confiance s'érode de la même manière côté entreprise. Aleph Alpha avertit que les pilotes d'IA génériques sapent la confiance par un schéma de promesses excessives et de livraison insuffisante, un phénomène qu'il appelle « enshittification ». Le slop, dans cette lecture, est la version grand public du même mode de défaillance.

Les risques de la moyenne de votes vagues

Le coût de l'agrégation de jugements flous est réel, et le projet est franc sur sa position. Une évaluation rapide unique mélange la détection réelle de défauts et le goût personnel. Avec un petit pool d'annotation, la moyenne peut basculer avec une poignée de votes, et l'exportation n'a lieu qu'après qu'un nombre non spécifié d'évaluations s'est accumulé.

Le jugement humain est le bon point de référence en principe. Le GauntletBench d'Oxford a soumis des agents IA à 100 tâches réelles et ils en ont échoué 81 %, tandis que des annotateurs humains experts ont accompli le même travail avec une précision supérieure à 80 %, un niveau que l'article qualifie de « difficile mais réalisable ». Mais le mot « expert » a du poids ici. Le vivier de SlopFinder est composé de votants d'Internet autosélectionnés, pas d'annotateurs formés, et le projet ne prétend pas le contraire.

La principale alternative, l'auto-évaluation par un modèle, a sa propre cécité documentée. Les recherches de Pine AI et de l'Université de Washington ont montré qu'un modèle vision-langage jugeant des figures générées par IA via une capture d'écran est structurellement aveugle : sur 15 rendus denses de figures académiques, le VLM a qualifié 14 d'« parfaits », tandis que des mesures déterministes de la géométrie des éléments ont détecté 40 à 74 % des défauts visuels que la métrique de capture d'écran ne voyait pas du tout. On ne peut pas faire confiance aux juges machines pour reconnaître le slop, ce qui est l'argument le plus fort pour demander l'avis des gens.

Ce que change un jeu de données ouvert sur le slop

Des notes de slop mesurables et publiques deviendraient une infrastructure pour l'économie de l'étiquetage que les plateformes construisent déjà. Les publicités Google portent une étiquette IA obligatoire, mais son application en dehors de l'inventaire propre de Google repose en grande partie sur l'honneur, et les plateformes ont également commencé à exiger des étiquettes IA sur les publicités. Un jeu de données partagé de ce que les humains signalent comme slop donnerait aux systèmes de modération une référence commune, au lieu de laisser chaque plateforme définir en privé les déchets générés par machine.

Il y a un piège qu'il vaut la peine de nommer. Les recherches de Meena Jagadeesan et de ses collègues modélisent la manière dont les utilisateurs réagissent stratégiquement lorsqu'ils savent que leur travail sera scruté à la recherche de traces d'IA : ils réécrivent, élaguent et ajoutent des idiosyncrasies pour affaiblir tout signal que le détecteur pourrait capter. Les résultats vont à l'encontre de ce que les défenseurs des détecteurs attendent. La même logique s'applique à un jeu de données public sur le slop. Le vivier de votes qui aide les plateformes à modérer pourrait aussi devenir le signal d'entraînement pour la prochaine vague de contenu généré, conçu pour contourner les jugements précis que le jeu de données enregistre.

La vraie contribution de SlopFinder, si suffisamment de votes s'accumulent, est de rendre la catégorie lisible. Le slop n'aura pas de définition. Il pourrait obtenir une distribution, et cela pourrait s'avérer plus utile.