Nadie puede decir lo que sus agentes de codificación de IA hicieron realmente hoy

Las empresas están gastando grandes sumas en agentes de codificación de IA con esencialmente cero visibilidad de su comportamiento real: lo que intentaron, lo que falló en silencio, lo que se rehízo tres veces antes de concretarse. La respuesta de Alibaba Cloud, una herramienta de observabilidad de código abierto llamada LoongSuite Pilot, trata la brecha como un problema de herramientas. Probablemente lo sea, pero el hecho de que las herramientas no existieran hasta que el gasto ya era lo suficientemente alto como para notarlo es el dato más interesante.

Los puntos de referencia que miden los agentes tienen su propio problema

Un nuevo artículo sobre la evolución automática de arneses, la práctica de permitir que un agente mejore iterativamente su propio andamiaje, encontró que muchas de las ganancias reportadas parecen ser sobreajuste al conjunto de pruebas público en lugar de una mejora genuina de capacidad. En experimentos comparativos directos, los métodos simples de escalado en tiempo de prueba igualaron o superaron a los arneses evolucionados, y los arneses evolucionados mostraron una generalización limitada a tareas para las que no habían sido ajustados. Ese es un hallazgo serio para una industria que cita rutinariamente puntos de referencia de evolución de arneses para justificar compras de agentes: si el número que sube no refleja la capacidad que los compradores creen que refleja, la conversación sobre el ROI que las empresas ya están luchando por tener se vuelve aún más difícil de tener con honestidad.

Y el código que escriben estos agentes no se verifica de forma predeterminada

El movimiento separado de Alibaba para agregar revisión de código en sesión, detectando vulnerabilidades antes de que lleguen a un repositorio en lugar de confiar en que el modelo de codificación evite escribirlas, solo tiene sentido como producto si el estado predeterminado del código generado por IA no es revisado. Esa es la admisión silenciosa enterrada en el anuncio: los agentes de codificación de la industria han estado enviando código a repositorios de producción sin una puerta de seguridad como práctica estándar, y los proveedores recién ahora están construyendo la barrera como un complemento opcional en lugar de algo esencial.

Tres problemas, una causa raíz

Gasto sin visibilidad, ganancias de capacidad que pueden ser artefactos de medición y código enviado sin revisión predeterminada son tres problemas distintos en teoría. En la práctica comparten una causa raíz: los agentes de codificación de IA se adoptaron lo suficientemente rápido como para que la infraestructura para observarlos, evaluarlos y asegurarlos se esté construyendo después del hecho, en respuesta a problemas que ya surgieron, en lugar de antes. Eso no es inusual para una nueva categoría tecnológica. Las aplicaciones web pasaron por el mismo desfase antes de que el escaneo de seguridad se volviera estándar, y la infraestructura en la nube pasó por ello antes de que las plataformas de observabilidad maduraran. Lo inusual es la velocidad: los agentes de codificación pasaron de ser una novedad a una partida significativa en el presupuesto empresarial en aproximadamente dos años, más rápido de lo que el ecosistema de herramientas necesitaba para mantenerse al día.

La implicación práctica para cualquier equipo que ejecute estos agentes hoy es que ninguno de los números en los que confían actualmente, eficiencia de gasto, ganancias de capacidad reportadas por puntos de referencia, calidad del código, debe tomarse al pie de la letra sin las capas de observabilidad y revisión que describen estas tres historias. Los agentes se volvieron rápidos. La medición de lo que realmente están haciendo todavía se está poniendo al día.