Evaluaciones de IA
23 published articles
Análisis de Benchmark
HumanEval Medía si la IA Podía Programar. Nunca Preguntó si el Código Era Trabajo Real
Los 164 problemas de finalización de funciones de HumanEval se convirtieron en la prueba estándar para la capacidad de codificación de la IA, pero la memorización y su alcance limitado dejaron una amplia brecha entre aprobar el benchmark y manejar una base de código real, una brecha que SWE-bench fue construido para exponer.
2026-07-30
Análisis de benchmarks
Lo que tres benchmarks de IA se equivocaron sobre el rendimiento real
Los benchmarks de IA como MMLU son el estándar para comparar modelos, pero tres casos recientes muestran que omiten dimensiones críticas. El Nemotron-4 de Nvidia carece de verificación independiente, Celeris-1 intercambia precisión por velocidad, y el mejor agente de IA para vigilancia de patógenos solo completa la mitad de las tareas. La evidencia apunta a la necesidad de marcos de evaluación que midan lo que realmente importa en la práctica.
2026-07-29
Análisis de benchmark
Se suponía que GSM8K evaluaría matemáticas de primaria. Hasta el 42% de sus preguntas no lo hacen
GSM8K se convirtió en una prueba estándar de razonamiento aritmético en LLMs, pero auditorías han encontrado tasas de error en su conjunto de preguntas de hasta el 42%, socavando lo que sus puntuaciones realmente miden.
2026-07-29
Análisis de benchmarks
MMLU dominó la evaluación de IA durante años. Luego los modelos empezaron a acertar la clave de respuestas
MMLU definió una generación de evaluación comparativa de IA, pero la contaminación de datos de entrenamiento y una clave de respuestas defectuosa han empujado a los laboratorios de frontera hacia sucesores dinámicos como HLE y GPQA Diamond.
2026-07-28
Análisis
Puntos de referencia, no gangas: los laboratorios de IA de China alcanzan la paridad
Los laboratorios chinos de IA Qwen, DeepSeek, MiniMax y Kimi han igualado o superado a los modelos frontera de EE.UU. en benchmarks de razonamiento, codificación y análisis de documentos. Con precios agresivos y estrategias de pesos abiertos, ya no son solo alternativas baratas, son competidores reales.
2026-07-27
IA de Código Abierto
Kimi K3 es el modelo abierto más grande jamás creado. Pero aún no es el mejor.
Kimi K3 es el modelo abierto más grande con 2,8 billones de parámetros, pero no logra superar a los mejores modelos propietarios en los benchmarks generales. Si bien sobresale en tareas específicas de codificación y agentivas, la brecha con los líderes de frontera como Claude Fable 5 y GPT 5.6 Sol expone los límites del escalado sin avances arquitectónicos y de datos.
2026-07-27
Inteligencia Artificial
Cuatro agentes son mejores que uno: ARCANA resuelve ARC-AGI-2 hablando consigo mismo
Investigadores de múltiples instituciones proponen ARCANA, un sistema multiagente que descompone los rompecabezas de ARC-AGI-2 en percepción, generación de hipótesis, ejecución simbólica y refinamiento reflexivo. Su arquitectura modular y un metacontrolador aprendido mejoran la eficiencia del razonamiento, pero el artículo deja preguntas clave sobre la generalización y el costo computacional sin responder.
2026-07-19
Orchestrator swap
Perplexity convierte a Grok 4.5 en su modelo orquestador estrella en Computer, superando a Opus 4.8 a la mitad del costo
Perplexity afirma que Grok 4.5 superó a otras cinco configuraciones de orquestador en su benchmark interno WANDR, superando a Claude Opus 4.8 en precisión a aproximadamente la mitad del costo, y ya está disponible en Computer para suscriptores Pro y Max.
2026-07-14
Benchmark integrity
GPT-5.6 Sol (max) encabeza CritPt, un nuevo punto de referencia de problemas de investigación en física no publicados
GPT-5.6 Sol (max) lidera CritPt, un nuevo punto de referencia de física basado en problemas de investigación de nivel de posgrado no publicados, obteniendo aproximadamente 5 puntos por encima de GPT-5.5 y 4 puntos por delante de Claude Fable 5, según pruebas independientes de Artificial Analysis.
2026-07-13
Despliegue de IA de frontera
Claude Fable 5 y Mythos 5: El futuro de la IA es la inteligencia controlada por acceso
El Claude Fable 5 de Anthropic lleva la capacidad de clase Mythos a los usuarios públicos, mientras que Mythos 5 sigue siendo solo de acceso confiable. El modelo de despliegue, enrutamiento de capacidad, clasificadores de respaldo y acceso por niveles, representa un cambio fundamental en la forma en que se lanza y utiliza la IA de frontera.
2026-07-10
Inteligencia Artificial
Ifbench: el nuevo benchmark que evalúa el seguimiento de instrucciones en IA
IFBench mide la capacidad de los modelos de lenguaje para seguir instrucciones precisas en lenguaje natural, una habilidad clave pero a menudo ignorada. Los primeros resultados muestran a los modelos Grok de xAI liderando, mientras que los modelos Claude quedan rezagados a pesar de sus altos puntajes generales de inteligencia.
2026-07-07