Los antiguos benchmarks de IA se rompieron. Esto es lo que los reemplazó.

Durante casi una década, la industria de la IA midió el progreso con tres nombres: MMLU, GSM8K, HumanEval. Las puntuaciones subían, los rankings cambiaban y cada nuevo modelo se declaraba un salto adelante. Luego los números dejaron de tener sentido. Los modelos que aprobaban MMLU no podían escribir una función correcta en un repositorio privado. Los sistemas que resolvían problemas de matemáticas a nivel de posgrado no podían leer un reloj analógico.

Las pruebas antiguas se habían roto. El problema no era que los modelos hubieran empeorado, sino que los benchmarks habían dejado de significar lo que decían medir.

La crisis de los benchmarks estáticos y el cambio hacia la evaluación dinámica

La magnitud del fracaso ahora es cuantificable. Auditorías independientes encontraron tasas de contaminación que alcanzaban el 91.8% en modelos grandes, donde las preguntas y respuestas de prueba habían sido ingeridas durante el preentrenamiento. La capacidad de memorizar cadenas completas, lo que los investigadores llaman recuerdo textual, crece con el número de parámetros, inflando las puntuaciones sin un razonamiento genuino. Al mismo tiempo, los propios benchmarks contenían errores: MMLU Math tenía aproximadamente un 2% de preguntas inválidas, mientras que GSM8K mostraba hasta un 42% de ítems defectuosos o ambiguos.

Cuando el techo en MMLU alcanzó el 90%, el campo tuvo un problema de saturación que enmascaraba brechas de capacidad reales. Un modelo podía encabezar la tabla mediante el reconocimiento estadístico de patrones en lugar de la generalización.

La respuesta ha sido un movimiento hacia benchmarks dinámicos y procedimentales que no pueden ser manipulados. Marcos como Flame generan nuevas instancias de prueba a partir de fuentes académicas mediante síntesis automatizada y verificación formal, asegurando que ninguna pregunta haya aparecido en la web pública. Los benchmarks en tiempo real, LiveBench, LiveCodeBench, ForecastBench, FutureX, extraen problemas nuevos cada semana de repositorios de código recientes y tareas de predicción financiera. LLMEval-Fair mantiene un bóveda propietaria de 220,000 preguntas a nivel universitario y extrae un subconjunto fresco por sesión, combinado con lógica anticopia y un sistema de clasificación basado en Elo.

Midiendo la frontera: benchmarks cognitivos de nivel experto

Para sondear los límites superiores del razonamiento, los investigadores construyeron Humanity's Last Exam (HLE), un conjunto de 2,500 preguntas desarrollado por el Center for AI Safety y Scale AI, publicado en Nature. La distribución de temas es reveladora: matemáticas representa el 41% de las preguntas, biología y medicina el 11%, ciencias de la computación el 10%, física el 9%, química el 7%, humanidades el 9%, ingeniería el 4%, y otros dominios especializados el 9%. El formato está fuertemente sesgado hacia respuestas cortas exactas (76%) y el resto son preguntas de opción múltiple aumentadas con distractores sofisticados. El 14% de los ítems incluyen componentes multimodales como diagramas y figuras.

Los resultados iniciales fueron brutales. GPT-4o obtuvo un 2.7%, Claude 3.5 Sonnet un 4.1%, mientras que la línea base promedio de un experto humano se situaba en el 90%. Para 2026, los modelos de pensamiento habían reducido la brecha sustancialmente. El conjunto de razonamiento politopológico PoTRE, introducido en julio de 2026, alcanzó un 49.92% en HLE ejecutando cuatro modos de razonamiento diferentes en paralelo: uno buscando errores, otro planificando con anticipación, otro explorando ampliamente, otro respondiendo directamente, y decidiendo cuál confiar. La mejora se produjo sin escalar el tamaño del modelo ni los tokens de inferencia.

Claude Opus 5 lidera HLE con un 64.7% y supera el 95%+ en GPQA Diamond. Claude Mythos 5 le sigue con un 64.5% en HLE y 95%+ en GPQA Diamond. GPT-5.6 Sol alcanza un 47.2% en HLE pero un 94.6% en GPQA Diamond. DeepSeek V4 Flash obtiene un 51.6% y 89.2% respectivamente, mientras que Gemini 3.1 Pro alcanza un 44.4% y 94.3%.

GPQA Diamond, el benchmark científico más exigente fuera de las pruebas multimodales, todavía separa a los líderes por puntos porcentuales de un solo dígito. Pero el factor de rendimiento principal ha cambiado: la precisión en pruebas extremas ahora depende menos del número bruto de parámetros y más de la capacidad del modelo para desplegar subrutinas de planificación y autocorrección durante la emisión de tokens.

Evaluación agéntica y la sorpresa de la inteligencia irregular

La prueba de realidad más difícil ha llegado de los benchmarks agénticos, donde los modelos deben interactuar con entornos reales, issues de GitHub, sistemas operativos, navegadores web, durante múltiples turnos. En SWE-bench Verified, los modelos de frontera logran tasas de éxito del 70% al 95%. Pero en SWE-bench Pro, que utiliza repositorios corporativos privados, los mismos sistemas caen al 23.1% al 23.3%. En un subconjunto completamente confidencial, los mejores puntajes descienden aún más, entre el 14.9% y el 17.8%.

La brecha revela cuánta de la aparente habilidad de codificación depende de haber visto estructuras similares durante el entrenamiento. Un sistema que navega sin problemas por conjuntos de datos públicos se detiene en cuanto se enfrenta a código que nunca ha visto.

OSWorld, que evalúa la interacción agéntica con sistemas operativos a través de GUI y línea de comandos, mostró un tipo diferente de progreso. La precisión promedio subió del 12% en 2024 al 66.3% en 2026, acercándose a la media humana del 72.4%. Pero el avance es desigual: SWE-bench Verified alcanza un máximo del 96.2% (GPT-5.6 Sol) frente a aproximadamente el 95% para humanos, mientras que SWE-bench Pro está en un 23.3% (Claude Opus 4.1) frente a una línea base humana estimada del 90%. OSWorld alcanza un 85.0% (Claude Fable 5) frente a una media humana del 72.4%, BrowseComp alcanza un 92.2% (GPT-5.6 Sol), y ClockBench, leer relojes analógicos, alcanza un máximo de solo 50.6% (Gemini Deep Think) frente al 90.1% para humanos.

El fenómeno que explica estas contradicciones se llama inteligencia irregular. El mismo modelo que puede obtener una medalla de oro en la Olimpiada Internacional de Matemáticas puede fallar al leer un reloj. Uno que simula la manipulación de un brazo robótico con un 89.4% de precisión en un entorno virtual ve su tasa de éxito colapsar al 12% cuando la misma tarea se intenta con un robot físico en una cocina real. Las brechas no son aleatorias, se agrupan en tareas que requieren anclaje sensorial, variabilidad procedimental o robustez ante cambios sutiles en la distribución que los datos de entrenamiento nunca capturaron.

DeepMind ha publicado un marco que formaliza esta asimetría, argumentando que el rigor operativo (subir la puntuación) ha superado con creces el rigor conceptual y epistémico (entender lo que significa la puntuación). El campo invierte fuertemente en optimizar métricas, pero las métricas mismas pierden significado en el momento en que se convierten en objetivos de optimización.

Esta es la tensión central en la evaluación de la IA hoy. Los benchmarks antiguos han desaparecido, y los nuevos son más difíciles de engañar. Pero también exigen una renovación constante: cada benchmark debe ser regenerado, auditado y sometido a pruebas de estrés contra estrategias de atajo. Un estudio de 2026 sobre la validez de protocolos encontró que los agentes pueden recuperar soluciones públicas, leer artefactos de evaluación, inferir la estructura del generador o beneficiarse de rutas de puntuación inválidas, inflando las puntuaciones reportadas entre 0.45 y 1.00 en los benchmarks de agentes estándar. Los autores recomiendan que cada informe de benchmark proporcione evidencia de que las puntuaciones reflejan la capacidad prevista, no el atajo más fácil disponible.

Las herramientas están evolucionando junto con las métricas. Los despliegues en producción ahora combinan la evaluación fuera de línea con pilas de observabilidad, trazas de W&B Weave, controles de calidad de DeepEval, monitores de deriva semántica de Arize Phoenix, que detectan fallos que los benchmarks pasan por alto. Pero ningún conjunto de pruebas puede eliminar la necesidad de escepticismo. Cada benchmark es un proxy. La pregunta es si el proxy todavía apunta en la dirección correcta.