Evaluaciones de IA
23 published articles
Agentes de programación autónomos · Preprint de arXiv
Harness-of-Harness afirma una mejora del 52,25 % al ejecutar otros agentes de programación
HoH envuelve los harness de agentes de programación existentes en bucles repetidos de planificación, programación y pruebas, y reporta una ganancia relativa media del 52,25 % en tres suites de benchmarks. El resumen deja sin definir la métrica subyacente, el coste de recursos y el desglose por modelo.
2026-09-25
MiniCPM5-2B de OpenBMB: 2,52B de parámetros, ambiciones de 4B
Un modelo de 2,52B supera a rivales de 4B, en un benchmark que ejecutó su propio creador
Un modelo de 2,52B bajo Apache-2.0 que supera a bases abiertas de mayor tamaño en programación, uso de herramientas y contexto largo, con una tabla de benchmarks que, según OpenBMB, mezcla ejecuciones internas y de terceros.
2026-09-22
IA nativa para máquinas y los benchmarks que la respaldan
TypeSafe AI dice que es 193x más rápido que los LLM. Su propia prueba muestra 75x.
TypeSafe AI llama a Jev el primer System One Model: un sistema construido para devolver decisiones tipadas al software, entrenado con un algoritmo al que llama RLCD. La página de lanzamiento afirma cero alucinaciones y una ventaja de precio de 238 veces frente a una única línea base nombrada, Claude Fable 5.1.
2026-09-21
Investigación en IA: control de riesgo de contenido industrial
La ganancia de 15,1 puntos de SIRF vive en los pesos, no en el prompt
SIRF saca las reglas de moderación de una plataforma fuera del prompt y las lleva a los pesos del modelo mediante preentrenamiento continuado con datos de política sintéticos. El verdadero atractivo del artículo es su control: una variable cambiada, 15,1 puntos ganados.
2026-09-19
IA de código abierto: Alibaba abre el nivel Max
Qwen 3.8-Max: el modelo más potente de Alibaba ya se puede descargar gratis
Alibaba está publicando como código abierto Qwen 3.8-Max, su modelo más capaz hasta la fecha: un MoE de 2,4 billones de parámetros que supera a GPT-5.6 Sol en SWE-bench Pro, PaperBench e IFBench. Analizamos las salvedades de los benchmarks y lo que significa un modelo insignia abierto con 95 mil millones de parámetros activos para los desarrolladores.
2026-08-16
IA de código abierto
Qwen3.8-Max superó a 458 equipos humanos en 24 horas, trabajando solo
Qwen3.8-Max superó a 458 de 526 equipos humanos en un concurso de 24 horas mientras trabajaba solo, y Alibaba publicará sus pesos como código abierto la próxima semana. Por ahora, todas las cifras son autodeclaradas, lo cual es exactamente por lo que las afirmaciones de autonomía merecen ser examinadas.
2026-08-03
Informe Especial: Evaluación de IA
Estado de la evaluación comparativa de IA en 2026: el colapso de las pruebas estáticas y los sistemas que las reemplazan
Un recorrido completo por el panorama de los benchmarks de IA en 2026: por qué se rompieron MMLU, GSM8K y HumanEval, cómo los benchmarks dinámicos y exámenes de expertos como HLE y GPQA Diamond los reemplazaron, qué revelan las pruebas de inteligencia agéntica y desigual, y cómo la preferencia humana, los jueces LLM y la observabilidad en producción completan ahora la pila de evaluación.
2026-08-03
Análisis de referencia
LiveBench se niega a quedarse quieto. Ese es el punto
LiveBench reemplaza una clave de respuestas fija por un conjunto continuamente renovado de problemas de programación, repositorios y preguntas de predicción, evitando la contaminación que socavó a MMLU y GSM8K. Es parte de un cambio más amplio hacia la evaluación dinámica junto con LiveCodeBench, ForecastBench y LLMEval-Fair.
2026-08-03
Análisis de Benchmark
5 Millones de Votos, 25 Puntos Elo: Dentro del Leaderboard de Chatbot Arena que Nadie Puede Sacudir
LMSYS Chatbot Arena clasifica modelos por preferencia humana ciega en una escala Elo, con casi cinco millones de votos que ahora agrupan los principales laboratorios en una banda de 25 puntos. Los métodos LLM-as-a-Judge que escalan este tipo de evaluación tienen sus propios sesgos documentados hacia la verbosidad y la posición.
2026-08-02
Análisis de benchmarks
En SWE-bench Verified, los mejores modelos alcanzan el 96%. En código privado de empresas, apenas superan el 23%
SWE-bench Verified hace que los modelos fronterizos parezcan estar cerca de resolver la ingeniería de software del mundo real, con puntuaciones superiores al 95%. SWE-bench Pro, ejecutado en repositorios privados de empresas, reduce esos mismos modelos al 23% o menos, exponiendo cuánto dependía la puntuación de Verified de la exposición a datos públicos.
2026-08-02
Análisis de benchmark
GPQA Diamond se construyó para ser a prueba de Google. Los modelos frontera ahora superan el 95% de todos modos
GPQA Diamond fue diseñado para que los humanos equipados con búsqueda no puedan responder de manera confiable sus preguntas de ciencias a nivel experto. Los modelos frontera ahora superan del 89% al 96%, llevando el benchmark hacia la misma saturación que retiró a MMLU.
2026-08-01
Análisis de Benchmark
El Último Examen de la Humanidad comenzó con un puntaje del 2.7%. Los mejores modelos aún no superan el 65%
El Último Examen de la Humanidad fue creado por CAIS y Scale AI para suceder a MMLU como el benchmark general de LLM más difícil. Dos años después, incluso el puntaje líder de Claude Opus 5 del 64.7% está muy por debajo del 90% de referencia de expertos humanos.
2026-07-31