Nadie puede definir la basura generada por IA. Este dataset abierto está promediando la respuesta

SlopFinder es un MVP temprano que toma una idea probada y la apunta a un término que nadie ha logrado definir. La idea probada es la percepción crowdsourced: mostrar algo a la gente, recoger una calificación, seguir adelante. El objetivo es la basura generada por IA, la etiqueta que domina tanto las secciones de comentarios como las discusiones de políticas de plataformas, pero que se desmorona en el momento en que alguien intenta precisarla.

La mecánica es mínima a propósito. El proyecto toma muestras de texto generado por IA de datasets existentes, las muestra de forma anónima y recoge una sola calificación por visitante: un único control que pregunta qué tan basura es el texto. Sin categorías, sin formularios. Cuando una muestra acumula suficientes votos, se exporta a Hugging Face como datos abiertos para que cualquiera los use. El equipo lo llama un MVP temprano, con un dataset pequeño y un sistema aún en evolución.

Qué mide realmente SlopFinder

El paso de definir a medir es la historia real. El propio marco del proyecto es explícito: SlopFinder no define la basura, mide la versión percibida y promediada de lo que los humanos llaman basura. El dataset es una colección de muchas definiciones de trabajo, algunas cercanas a lo objetivo, otras puro gusto.

Esa apuesta tiene un precedente funcional. LMSYS Chatbot Arena clasifica modelos por preferencia humana ciega en una escala Elo, con casi cinco millones de votos que ahora comprimen a los principales laboratorios en una banda de 25 puntos. Arena nunca definió 'bueno' para clasificar modelos por ello. SlopFinder apuesta a que la misma lógica se sostiene en el extremo negativo de la calidad.

Por qué la basura se resiste a una definición fija

El comentario de un colaborador temprano muestra por qué el término no se quedará quieto. Para algunos lectores, basura simplemente significa baja calidad o bajo esfuerzo. Para otros, está ligado a un modo de fallo específico: imágenes generadas donde las manos o los ojos rompen la ilusión, incluso en salidas estilizadas como dibujos al carboncillo o bocetos. El mismo comentarista sitúa la tasa de imágenes generadas utilizables tal cual en aproximadamente una de cada cuarenta.

Otra comparación viene de los videojuegos: escaparates llenos de lo que el comentarista llama proyectos de 'mi primer FPS', ensamblados a partir de código fuente comprado, activos reciclados, texturas dibujadas a mano y un mapa débil, y luego vendidos en lugar de usarse como un paso hacia algo mejor. Las manos rotas son un defecto objetivo. Un reciclaje de activos perezoso es un juicio sobre esfuerzo e intención. La capacidad de disfrute es un tercer eje: el contenido que se disfruta tiene mérito, mientras que la salida que rompe la lógica básica 'duele en el cerebro'. Una definición tendría que cubrir las tres cosas a la vez, que es exactamente por lo que el proyecto se niega a escribir una.

La confianza se erosiona de la misma manera en el lado empresarial. Aleph Alpha advierte que los pilotos genéricos de IA socavan la confianza mediante un patrón de prometer de más y entregar de menos, un fenómeno que llama 'enshittification'. La basura, en esa lectura, es la versión orientada al consumidor del mismo modo de fallo.

Los riesgos de promediar votos vagos

El costo de agregar juicios difusos es real, y el proyecto es franco sobre dónde se encuentra. Una calificación rápida y única mezcla la detección genuina de defectos con el gusto personal. Con un grupo de anotación pequeño, el promedio puede oscilar con un puñado de votos, y la exportación ocurre solo después de que se acumula un número no especificado de calificaciones.

El juicio humano es el punto de referencia correcto en principio. GauntletBench de Oxford sometió a agentes de IA a 100 tareas reales y fallaron el 81% de ellas, mientras que anotadores humanos expertos completaron el mismo trabajo con más del 80% de precisión, un nivel que el artículo llama 'desafiante pero factible'. Pero la palabra 'experto' pesa allí. El grupo de SlopFinder son votantes de internet autoseleccionados, no anotadores entrenados, y el proyecto no finge lo contrario.

La principal alternativa, la autoevaluación del modelo, tiene su propia ceguera documentada. Una investigación de Pine AI y la Universidad de Washington encontró que un modelo de visión y lenguaje que juzga figuras generadas por IA mediante captura de pantalla es estructuralmente ciego: en 15 renders densos de figuras académicas, el VLM calificó 14 como 'perfectos', mientras que mediciones deterministas de la geometría de los elementos detectaron entre el 40% y el 74% de los defectos visuales que la métrica de captura de pantalla no vio nada. Los jueces automáticos no pueden ser confiables para reconocer la basura, que es el argumento más fuerte para preguntar a las personas en absoluto.

Qué cambia un dataset abierto de basura

Calificaciones públicas y medibles de basura se convertirían en infraestructura para la economía de etiquetado que las plataformas ya están construyendo. Los anuncios de Google llevan una etiqueta obligatoria de IA, pero su aplicación fuera del inventario propio de Google es en gran medida basada en el honor, y las plataformas también han comenzado a exigir etiquetas de IA en los anuncios. Un dataset compartido de lo que los humanos señalan como basura da a los sistemas de moderación una referencia común, en lugar de dejar que cada plataforma defina la basura generada por máquinas en privado.

Hay una trampa que vale la pena nombrar. Una investigación de Meena Jagadeesan y colegas modela cómo los usuarios responden estratégicamente cuando saben que su trabajo será escaneado en busca de rastros de IA: reescriben, recortan y añaden idiosincrasias para debilitar cualquier señal que el detector capture. Los resultados contradicen lo que los defensores de los detectores esperan. La misma lógica se aplica a un dataset público de basura. El grupo de votos que ayuda a las plataformas a moderar también podría convertirse en la señal de entrenamiento para la próxima ola de contenido generado, diseñado para esquivar los mismos juicios que el dataset registra.

La contribución real de SlopFinder, si se acumulan suficientes votos, es hacer legible la categoría. La basura no obtendrá una definición. Puede obtener una distribución, y eso podría resultar más útil.