Los agentes de escritorio con IA fallan en la prueba de antes-después el 35% de las veces

Los agentes de uso de computadora que navegan por interfaces de escritorio pueden completar flujos de trabajo complejos, pero un nuevo punto de referencia de diagnóstico muestra que a menudo lo hacen sin comprender realmente si sus acciones produjeron el cambio esperado en la pantalla. En la tarea de ordenamiento del Desktop-Delta Bench (DDB), el mejor modelo logró solo una tasa de coincidencia exacta del 65.1% en secuencias sin señuelo y 65.7% cuando había un fotograma señuelo presente, lo que significa que falló aproximadamente el 35% de las veces.

DDB, descrito en un artículo de julio de 2026, está diseñado para llenar un vacío en las evaluaciones existentes. Los puntos de referencia actuales miden el éxito de la tarea final o la base de un solo fotograma, pero ninguno prueba si un agente puede reconstruir la transición causal entre pantallas. Esto importa porque la inferencia, la entrada, el renderizado y la captura de pantalla son asíncronos: la siguiente observación puede retrasarse, ocultarse o no estar relacionada, y un agente que interpreta erróneamente un fotograma obsoleto como progreso puede llevar errores a la planificación posterior.

Tres modos de fallo

El punto de referencia se enfoca en tres dimensiones de fallo: verificación de estado (¿la acción realmente cambió el estado?), seguimiento de fuente (¿qué elemento causó el cambio?) y control consciente del contexto (¿debería haberse tomado la acción?). Para investigarlos, los autores crearon 2,013 instancias verificadas por humanos a partir de trayectorias novedosas de múltiples aplicaciones en Linux en aproximadamente 15 aplicaciones y 50 dominios de tareas. Dos tareas complementarias cubren 463 instancias de ordenamiento temporal de tres fotogramas, 105 de las cuales incluyen un señuelo de trayectoria cruzada, y 1,550 pares antes-después etiquetados con cinco familias de acciones y sus cargas.

El ordenamiento permanece insaturado

Se evaluaron ocho familias de modelos en 32 configuraciones de ordenamiento y 16 de acción única. Los resultados de ordenamiento muestran una brecha consistente. La coincidencia exacta del mejor modelo en tripletes sin señuelo fue del 65.1%; en tripletes con señuelo fue del 65.7%. Curiosamente, proporcionar contexto de la tarea aumentó la identificación de señuelos en 6.9 puntos porcentuales, pero perjudicó la coincidencia exacta sin señuelo en 2.2 puntos. El análisis de errores reveló que los modelos copiaban sistemáticamente el orden A-B-C presentado en lugar de inferir la secuencia correcta, una señal de que dependen de patrones superficiales en lugar de la comprensión causal.

El reconocimiento de acciones es más fácil que la inferencia de acciones

Los resultados de acción única siguieron un patrón diferente. Identificar la familia de acciones resultó más difícil que localizar la acción. La detección de clics alcanzó un F1 alto de 0.96, pero la detección de arrastres se quedó atrás con 0.76. Sin embargo, una vez que se reconocía un arrastre, su localización era generalmente precisa. Esto sugiere que los modelos actuales manejan acciones discretas y locales como los clics mucho mejor que las acciones continuas y espaciales como los arrastres.

La verificación como el nuevo cuello de botella

Los hallazgos de DDB reflejan una tendencia más amplia en la investigación de IA: la generación está superando a la verificación. Un artículo de junio de 2026, 'The Verification Horizon', argumentó que a medida que los modelos se vuelven más capaces de producir soluciones candidatas, verificarlas se convierte en el problema más difícil. DDB muestra que esta misma tensión se aplica a los agentes de escritorio: generar un clic es fácil; verificar que produjo el cambio de pantalla deseado no lo es. Trabajos previos que comparaban agentes GUI y CLI (publicados un mes antes que DDB) encontraron que los agentes solo de pantalla encontraban cuellos de botella de ejecución en flujos de trabajo de horizonte largo. DDB sugiere que parte de ese cuello de botella puede deberse a una comprensión deficiente de las transiciones.

Para la automatización empresarial, este punto ciego conlleva un riesgo real. Un agente que no pueda distinguir de manera confiable una transición real de un fotograma obsoleto puede saltarse un paso, duplicar una operación o continuar silenciosamente con información incorrecta. DDB proporciona una forma específica de medir y mejorar esta capacidad antes de que los agentes sean confiables para tareas de alto riesgo.

Al complementar los puntos de referencia de tareas finales con una capa de diagnóstico a nivel de paso, DDB llena un espacio de evaluación faltante entre la percepción y la planificación. Los autores argumentan que mejorar la confiabilidad de los agentes de escritorio requerirá mejores mecanismos para detectar cuándo una acción realmente modificó la interfaz, una condición previa para la recuperación segura y la planificación a largo plazo.