Modelos más pequeños que dudan de sí mismos pueden superar a otros 10 veces más grandes

Un equipo de investigadores ha publicado un artículo en arXiv que presenta RefineRL, un método de entrenamiento que enseña a modelos de lenguaje pequeños a seguir mejorando sus propias soluciones de código mucho después de que un primer borrador pase las pruebas visibles. La clave: un agente escéptico que se niega a confiar en sus propias salidas y sigue buscando errores incluso cuando todo parece estar en verde.

El enfoque combina un modelo base estándar Qwen3-4B con dos innovaciones. Primero, Skeptical-Agent, un bucle iterativo que ejecuta el código del modelo contra casos de prueba públicos y luego se niega a aceptar una calificación aprobatoria como prueba de corrección. Segundo, un paso de aprendizaje por refuerzo que entrena al modelo para usar realmente ese bucle, en lugar de ignorarlo como muchos modelos ajustados aprenden a jugar con rutas de recompensa más cortas.

Después del entrenamiento, los modelos compactos de 4B equipados con Skeptical-Agent superaron a los modelos de 32B en puntos de referencia de programación competitiva (CP). También se acercaron al rendimiento en un solo intento de modelos de 235B, una categoría que incluye modelos fronterizos de grandes laboratorios. El artículo reporta ganancias en los puntos de control Qwen3-4B y Qwen3-4B-2507.

Esto es importante porque el dominio de CP se ha convertido en una prueba de estrés estándar para el razonamiento en LLMs. La evaluación en un solo intento domina la literatura. La mayoría de los artículos prueban si un modelo puede resolver un problema de una sola vez. RefineRL plantea una pregunta diferente: ¿puede un modelo aprender a usar el tiempo que ya tiene?

El mecanismo de escepticismo es donde el método se diferencia del trabajo anterior. El RL estándar para problemas de codificación recompensa una solución que pasa las pruebas y se detiene. Esto enseña a los modelos a producir borradores iniciales que apenas superan el listón. Skeptical-Agent explícitamente no se detiene después de un pase. Busca activamente contraejemplos, casos límite o suposiciones que podrían hacer que la solución falle bajo una entrada diferente. El artículo describe esto como mantener una actitud escéptica hacia las propias salidas.

El componente de RL utiliza datos estándar de RLVR, es decir, pares de problemas y respuestas verificables sin necesidad de señales de recompensa hechas a mano ni anotaciones humanas intermedias. Esto mantiene el pipeline de entrenamiento ligero. Los investigadores argumentan que esta es una ventaja práctica: cualquier laboratorio con un conjunto de datos de problemas de programación puede reproducir la configuración.

El resultado se hace eco de hallazgos de otros trabajos recientes en RL de codificación. NousCoder-14B, también derivado de Qwen3-14B, utilizó un pipeline de RL completamente abierto para alcanzar una tasa de resolución del 68% en Codeforces. Pero RefineRL apunta a una escala de costos diferente. Con 4B parámetros, es lo suficientemente pequeño como para ejecutarse en hardware de consumo después del entrenamiento, y el entrenamiento mismo puede estar al alcance de grupos académicos bien financiados.

Queda abierta la cuestión de si el enfoque se generaliza más allá de la programación competitiva. CP proporciona retroalimentación limpia: una solución pasa las pruebas ocultas o no. Esa señal binaria es exactamente lo que necesita el auto-refinamiento escéptico. Para tareas con criterios de corrección difusos o subjetivos, la misma técnica puede no traducirse. Pero el artículo sugiere que el principio, refinamiento iterativo impulsado por la desconfianza sistemática de la propia salida, puede ser más ampliamente aplicable que solo la codificación.

El trabajo también se suma a un creciente cuerpo de evidencia de que el tamaño del modelo por sí solo no es el único camino hacia un mejor razonamiento. La destilación de habilidades en política, RL basado en resultados, y ahora el refinamiento escéptico, todos muestran que la metodología de entrenamiento a veces puede cerrar la brecha entre un modelo de 4B y uno de 32B de manera más efectiva que escalar parámetros. Las leyes de escalado son reales, pero pueden tener una variable descuidada: qué tan a fondo el modelo reexamina su propio primer intento.

RefineRL está disponible en arXiv bajo el identificador 2604.00790.