Por qué tu tutor de IA no puede ver cómo las matemáticas se construyen sobre sí mismas

Gemini-3-Flash, uno de los modelos más capaces disponibles actualmente, obtiene solo un 57 por ciento en un nuevo benchmark diseñado para evaluar si los sistemas de IA comprenden cómo está estructurado el conocimiento del currículo escolar. Gemma-4-31B-IT alcanza un 46 por ciento. Ambas cifras provienen de una prueba de 23,640 preguntas llamada K12-Bench, construida por investigadores de la Universidad de Pekín.

Los investigadores argumentan que los benchmarks educativos existentes se centran en responder preguntas de examen, no en si un modelo comprende las relaciones entre conceptos a lo largo de la trayectoria de aprendizaje de un estudiante: llaman a esta capacidad "cognición curricular". Un modelo que puede resolver una ecuación cuadrática podría no tener idea de que factorizar trinomios es un requisito previo para esa habilidad, o que el concepto aparece tanto en álgebra como en física.

Para crear el benchmark, el equipo primero construyó K12-KGraph, un grafo de conocimiento extraído de los libros de texto oficiales de People's Education Press que cubren matemáticas, física, química y biología desde primaria hasta secundaria. El grafo utiliza nueve tipos de nodos y catorce tipos de relaciones para capturar la estructura curricular y el anclaje visual: por ejemplo, qué conceptos requieren qué otros conceptos como requisitos previos, cómo los experimentos se vinculan con la teoría y dónde aparecen diagramas o ecuaciones en los materiales oficiales.

A partir de ese grafo derivaron K12-Bench, que tiene cinco familias de tareas: Ground (anclaje visual de conceptos en imágenes de libros de texto), Prereq (identificación de requisitos previos), Neighbor (emparejamiento de vecindad de conceptos), Evidence (conexión de evidencia experimental con afirmaciones) y Locate (posicionamiento de conceptos en la línea de tiempo curricular). Las tareas más difíciles son Prereq y Neighbor, que ambas requieren razonar sobre cómo se relacionan los conceptos entre sí en lugar de simplemente recuperar hechos. Es probable que por eso incluso los modelos fuertes tengan dificultades con ellas.

El entrenamiento en estructura curricular cierra parte de la brecha

El artículo no es solo un diagnóstico. Los investigadores construyeron K12-Train, un corpus de ajuste fino supervisado de 7,335 muestras que combina pares de preguntas y respuestas solo de texto y pares multimodales de preguntas y respuestas visuales. Cuando entrenaron modelos con un presupuesto de 2,300 muestras igualado, el subconjunto K12-Train-Text superó consistentemente a subconjuntos de igual tamaño de otros ocho corpus de ajuste por instrucciones convencionales en dos benchmarks posteriores, GaokaoBench y EduEval.

Para los modelos de visión y lenguaje, el conjunto completo multimodal K12-Train obtuvo las mejores puntuaciones generales en tres benchmarks de evaluación: Gaokao-MM, MDK12-medium y K12Vista. Lo hizo utilizando menos muestras de entrenamiento que las líneas base completas como DataFlow y WizardLM. La versión multimodal también superó tanto a las variantes solo de texto como solo de visión, lo que confirma que la estructura conceptual textual y los diagramas visuales proporcionan señales complementarias para la comprensión curricular.

Lo que la brecha significa para las aulas

La diferencia entre el rendimiento en exámenes y la cognición curricular tiene consecuencias directas. Un sistema de tutoría de IA que no puede decirle a un estudiante que necesita entender fracciones antes de abordar ecuaciones lineales no es realmente tutoría: está respondiendo preguntas. El marco K12-KGraph proporciona a los desarrolladores una forma de medir y entrenar esa capacidad faltante.

Todo el pipeline es abierto: el grafo, el benchmark, los datos de entrenamiento y el código de construcción están publicados. Eso importa porque el benchmark se construyó a partir de un currículo nacional específico (People's Education Press de China), pero la metodología se traslada a cualquier currículo. Si existen brechas similares en los libros de texto de otros países depende de que alguien construya el mismo tipo de grafo para ellos.

Las cifras del artículo sugieren que la brecha es real y medible. La pregunta más importante es si cerrarla producirá mejores resultados de aprendizaje o simplemente modelos que suenen más pedagógicos sin comprender más profundamente de lo que ya lo hacen.