Cuando un agente de codificación falla, las repeticiones baratas superan a la escalada, con un 35% del costo

Por qué es importante el enrutamiento de fallos para los agentes de codificación

Los agentes de codificación que ejecutan código en entornos ejecutables obtienen algo que la mayoría de las aplicaciones de LLM no tienen: mensajes de error procesables. Una compilación fallida, un bloqueo en tiempo de ejecución o un resultado de prueba incorrecto le indican al agente no solo que falló, sino a menudo por qué. La pregunta para cualquiera que implemente estos agentes a escala es qué hacer a continuación.

Los sistemas existentes tratan esto como una cascada binaria. Primero se prueba un modelo barato; si falla, se pasa el problema a uno costoso. Eso funciona, pero desperdicia la información que produjo el fallo. El modelo barato ya vio el aviso, ya escribió código, ya vio el error. El mismo error que le dice al humano "prueba otra cosa" podría decirle algo también a ese mismo modelo barato.

La formulación del enrutamiento de recuperación

CodeRescue, descrito en un artículo publicado en arXiv el 21 de julio de 2026, formaliza la decisión posterior al fallo como un problema de enrutamiento. Después de un intento fallido inicial, el sistema elige entre acciones de recuperación heterogéneas: reintentar el mismo modelo barato con retroalimentación de ejecución, probar una estrategia barata diferente (los experimentos del artículo utilizan una acción de "reescritura con pista" que reformula la tarea original con contexto de error), o escalar a un modelo más potente. Cada acción tiene un costo y una probabilidad de éxito que varía según el tipo de fallo.

Los autores entrenaron un enrutador supervisado en ejecuciones, secuencias de intentos, retroalimentación y resultados de cinco puntos de referencia de codificación. El enrutador aprende qué acción de recuperación elegir para cada firma de fallo. El resultado es una política que puede mezclar reintentos baratos y escalada a mitad del proceso, en lugar de comprometerse con una cadena fija.

Control de presupuesto sin reentrenamiento

El presupuesto de un operador puede cambiar. Hoy puedes permitirte diez centavos por tarea, mañana quizás cinco. Reentrenar el enrutador para cada presupuesto no es práctico. CodeRescue añade una capa de Control de Riesgo Conforme (CRC) que selecciona una penalización de costo en el momento de la implementación sin reentrenamiento. CRC funciona bajo supuestos de intercambiabilidad y proporciona un control de costo esperado marginal, lo que significa que el operador establece un objetivo de costo, y el sistema garantiza que el costo promedio se mantenga por debajo de ese objetivo en todas las tareas, sin necesidad de ajuste por tarea.

Este es el mecanismo que permite que el mismo sistema funcione para una startup con márgenes ajustados y un laboratorio de investigación con mayores recursos, utilizando diferentes objetivos de costo en hardware idéntico.

Los números: la recuperación barata como alternativa viable

Los experimentos enfrentan a GPT-5.4-nano (el modelo barato) contra GPT-5.4 (el costoso). En fallos fuera de la muestra, la frontera calibrada producida por CodeRescue superó a todas las líneas base de acción fija: escalada constante, reintento constante con retroalimentación, reescritura constante con pista. También superó a los enrutadores basados solo en avisos (un aviso simple que le dice al modelo que elija una estrategia de recuperación) y a una línea base de cascada binaria (sin enrutamiento, solo escalada ante cualquier fallo).

El punto de frontera calibrado igualó la tasa de resolución de la escalada constante con un 35% de su costo medio de recuperación. No es una mejora marginal. Es un cambio estructural en el equilibrio entre costo y rendimiento para agentes que operan a escala.

Patrones de fallo complementarios

El artículo informa que la recuperación barata y la escalada exhiben patrones de éxito complementarios. Algunos tipos de fallos, notablemente errores de sintaxis e importaciones faltantes, se solucionaron consistentemente con reintentos baratos después de ver el mensaje de error. Otros, como errores lógicos sutiles en pipelines de múltiples pasos, requirieron la comprensión de contexto más amplia del modelo más potente. El enrutador aprendió a distinguirlos.

Esto se alinea con una intuición que muchos desarrolladores ya tienen. Un modelo barato que falla en un problema difícil a menudo falla de la misma manera dos veces. Un modelo barato que falla en un error tipográfico simple a menudo lo arregla al reintentar. La diferencia está en el fallo, no en el modelo.

Lo que esto significa para implementaciones en producción

CodeRescue se dirige exactamente al escenario de implementación sensible al costo que los sistemas en cascada abordan mal. Una cascada binaria desperdicia cómputo barato en fallos que podrían solucionarse de manera barata, porque escala ante cualquier fallo, o desperdicia cómputo costoso en fallos que en realidad son recuperables con contexto. El enfoque de enrutamiento, con calibración de presupuesto, brinda a los operadores un control sobre el costo con una garantía de rendimiento.

El código está disponible en GitHub, lo que significa que no es un artefacto de investigación cerrado. Los equipos que ejecutan agentes de codificación a escala pueden probar el enfoque de enrutamiento frente a sus propias distribuciones de fallos. La gran pregunta abierta es si el enrutador entrenado en cinco puntos de referencia se transfiere a cargas de trabajo de producción. La capa CRC del artículo asume intercambiabilidad, lo cual es plausible para tareas fuera de la muestra dentro de una distribución, pero frágil para cambios de dominio. Una implementación en producción querría monitorear la frontera de costo-rendimiento del enrutador a lo largo del tiempo y reentrenar si la distribución de firmas de fallo se desvía.

Nada de eso cambia el hallazgo central: cuando un agente de codificación falla, el camino más barato no siempre es la escalada. A veces solo debes dejar que lo intente de nuevo.