LiveBench se niega a quedarse quieto. Ese es el punto

El problema que LiveBench fue diseñado para resolver es estructural, no un escándalo puntual. Cualquier punto de referencia publicado como un conjunto de datos fijo será, tarde o temprano, extraído e incorporado a un corpus de preentrenamiento, ya sea deliberadamente o como efecto colateral del rastreo de la web abierta. Una vez que eso sucede, la puntuación de un modelo deja de medir razonamiento y comienza a medir recuerdo, que es exactamente lo que ocurrió con MMLU y GSM8K. La solución de LiveBench no es un conjunto de datos mejor. Es uno que se mueve.

En lugar de lanzar una prueba fija de una sola vez, LiveBench incorpora continuamente nuevos problemas, desafíos de codificación recientes, repositorios de código recién abiertos, preguntas de razonamiento sobre eventos actuales, de forma semanal continua. Una pregunta publicada esta semana no puede haber contaminado un modelo entrenado meses antes, por definición. Esa única decisión de diseño evita todo el debate sobre la contaminación que ha consumido al resto del campo.

Parte de una familia más amplia

LiveBench no trabaja solo. LiveCodeBench aplica la misma lógica de actualización en vivo específicamente a problemas de programación extraídos de plataformas activas de codificación competitiva. ForecastBench y FutureX llevan la idea más allá hacia un territorio genuinamente no resuelto, pidiendo a los modelos que predigan los resultados de eventos financieros y geopolíticos reales que aún no han ocurrido, preguntas donde, por construcción, no hay ninguna respuesta histórica en ningún conjunto de entrenamiento.

Relacionado pero distinto es el enfoque adoptado por LLMEval-Fair, que mantiene un repositorio propietario de 220,000 preguntas de nivel universitario y extrae un subconjunto nuevo e inédito para cada sesión de evaluación, combinado con detección de trampas y clasificación relativa en lugar de umbrales fijos. Y Flame, un marco de generación procedimental, va un paso más allá: en lugar de almacenar preguntas preescritas, sintetiza nuevas bajo demanda a partir de material académico de origen, verifica su lógica interna con agentes verificadores y elimina pistas contextuales que podrían delatar a un modelo sobre lo que se está evaluando.

Qué costo tiene esto

Nada de esto es gratuito. Un punto de referencia que cambia cada semana es más difícil de reproducir; una puntuación de marzo y una de junio no son estrictamente la misma prueba, lo que complica el tipo de comparación ordenada en tablas de clasificación que todos quieren. También traslada la confianza a quien mantiene el proceso: si la organización que gestiona LiveBench comienza a extraer de un conjunto de nuevas preguntas sesgado o de menor calidad, no hay una clave de respuestas fija que los auditores externos puedan verificar, como eventualmente la hubo para GSM8K.

Esa compensación parece valer la pena, al menos por ahora. La era de los puntos de referencia estáticos produjo una serie de descubrimientos vergonzosos posteriores: tasas de contaminación cercanas al 92% en algunos conjuntos de pruebas multilingües, tasas de error de hasta el 42% en problemas matemáticos supuestamente de referencia, saturación que volvió sin sentido las tablas de clasificación. LiveBench y sus pares de actualización en vivo existen porque el campo concluyó que la verdadera fecha de caducidad de un punto de referencia llega en el momento en que se vuelve lo suficientemente famoso como para que valga la pena memorizarlo.