SafeEvolve reduce 3 veces el éxito de ataque contra agentes al evolucionar conjuntamente el harness y el modelo

El trabajo sobre seguridad en agentes basados en LLM suele elegir un bando. O refuerzas el andamiaje dentro del cual se ejecuta el agente, o ajustas el modelo hasta que su comportamiento mejore. Un artículo enviado a arXiv el 2 de septiembre sostiene que la propia división es el problema: el control en tiempo de ejecución y la seguridad intrínseca nunca se refuerzan mutuamente, de modo que el progreso en un lado se gasta silenciosamente en el otro.

Titulado "SafeEvolve: Harness-Policy Co-Evolution from Agent Experience for Safety Alignment", el artículo se ubica en la sección de Inteligencia Artificial de arXiv. Su premisa es estructural. El rendimiento de un agente está determinado conjuntamente por el modelo base y por el harness que media su interacción con el entorno, lo que significa que el riesgo puede aflorar dos veces: en una respuesta final dañina, o a lo largo de una trayectoria de ejecución de varios pasos que nunca produce una sola frase obviamente incorrecta.

El harness ahora forma parte del modelo de amenaza

La mayoría de los pipelines de alineación abordan una de esas superficies por vez. Las actualizaciones externas del harness parchean el tiempo de ejecución. La optimización de la política cambia el modelo. Aplicadas de forma aislada, sostiene el artículo, ninguna tiende un puente entre lo que el tiempo de ejecución puede imponer y lo que el modelo ha aprendido realmente a hacer, y los fallos agénticos se acumulan en esa brecha.

SafeEvolve, en cambio, ejecuta un bucle continuo. Extrae experiencia de seguridad de trayectorias on-policy completadas, es decir, de las propias ejecuciones terminadas del agente, y usa esa evidencia para actualizar ambos lados a la vez.

Cómo funciona el bucle de coevolución

Del lado del harness, el sistema convierte la evidencia de seguridad a nivel de trayectoria en actualizaciones acotadas a nivel de componente. Esas actualizaciones recaen en el prompt de seguridad y en un conjunto de habilidades jerárquicas. El artículo califica de auditables y reversibles los artefactos de harness resultantes, algo que importa a cualquiera que tenga que explicar a posteriori el comportamiento de un agente desplegado.

Del lado de la política, SafeEvolve utiliza un pipeline SFT-RL de dos etapas. El ajuste fino supervisado en el uso del harness inicializa la política para que aproveche activamente los artefactos de harness que hayan evolucionado hasta ese momento. Después, el aprendizaje por refuerzo con recompensas descompuestas por verificador moldea un comportamiento de seguridad autónomo durante la exploración de varios pasos, de modo que el agente no se apoye únicamente en el harness.

Qué muestran los números de AgentDojo y qué dejan fuera

Los autores reportan experimentos en benchmarks de seguridad agéntica y afirman un equilibrio seguridad-utilidad más sólido que las líneas base existentes. El único resultado concreto en el resumen se refiere a Qwen3.5-4B.

Vale la pena detenerse en la asimetría de esa tabla. El artículo publica una proporción para el éxito de ataque, una reducción de tres veces, pero no las tasas brutas a partir de las cuales se calculó. Las cifras de utilidad aparecen en términos absolutos, y el movimiento es de 2,07 puntos porcentuales.

Por qué "reversible" pesa más que la proporción

Un mecanismo de seguridad que se puede inspeccionar a nivel de componente y revertir es un objeto distinto de un reentrenamiento del modelo. Los equipos que operan agentes en entornos regulados pueden registrar qué cambió, cuándo cambió y revertir un cambio que rompa trabajo legítimo. Nada en el resumen sugiere que SafeEvolve se haya probado frente a ese tipo de presión de gobernanza, pero el diseño de los artefactos apunta a la restricción con la que los operadores realmente chocan.

El alcance aquí es modesto. Un mecanismo, resultados de benchmarks sobre un único modelo pequeño y una pregunta que el resumen no responde: si un bucle que aprende de las propias trayectorias de un agente sigue mejorando con el volumen o acaba aprendiendo de sus propios errores. Los resultados provienen de benchmarks de seguridad agéntica, no de tráfico de producción.