La trampa de tokens es real: el Agentic OS de Alibaba te muestra dónde fue cada centavo

Alibaba Cloud lanzó Agentic OS (ANOLISA) en marzo, llamándolo el primer sistema operativo orientado a agentes de la industria. La recepción fue entusiasta, pero la pregunta más frecuente de los usuarios iba directo al resultado final: ¿Cómo minimizo el consumo de tokens?

La pregunta esconde un problema más profundo. El consumo de tokens en sistemas multiagente ha sido durante mucho tiempo una caja negra. Ves un total al final del mes, pero no un desglose de qué agente, qué paso o qué rama de decisión se comió el presupuesto. Esa invisibilidad es ahora un pasivo a medida que los despliegues de agentes escalan desde demos de juguete hasta cargas de trabajo de producción que manejan tickets, inspecciones y solicitudes de clientes las 24 horas del día.

Presentamos AgentSight, el widget de observabilidad que Agentic OS lanzó en su última actualización. AgentSight promete convertir esa caja negra en un libro de contabilidad transparente con granularidad a nivel de sesión y diálogo, alertas en tiempo real y reproducción de trayectoria de cadena completa. La herramienta es tanto una ayuda de depuración como, potencialmente, una necesidad económica para cualquier equipo que ejecute agentes de IA en producción.

Lo que no puedes ver, no puedes recortar

El panel de visualización de AgentSight aborda la tensión fundamental en las operaciones de agentes: permites que los agentes funcionen 24/7, pero no puedes observarlos todo el tiempo. El patrón anterior era un fallo silencioso en segundo plano descubierto a la mañana siguiente, o un trabajo crítico interrumpido sin ninguna alerta. El nuevo panel hace que la salud del agente sea visible de un vistazo: qué agentes están en línea, cuáles están fuera de línea, cuáles están atascados, actualizados en tiempo real desde una visión general global hasta conversaciones individuales.

Cuando un agente se desconecta o se cuelga, AgentSight no solo marca el error. Automáticamente envía una alerta y puede activar un reinicio, reduciendo la intervención manual. Cada latido está expuesto.

El control meteorológico de 140.000 tokens

El verdadero problema es el desperdicio de tokens. El seguimiento detallado de AgentSight revela cómo las tareas inocuas pueden desangrar el cómputo rápidamente. La documentación del widget cita un caso de prueba engañosamente simple: un usuario pregunta "El clima de hoy en Hangzhou."

Consumo esperado: unos pocos cientos de tokens para el prompt del sistema, quizás un par de miles para una sola llamada de herramienta y respuesta. Consumo real: 140.000 tokens. No es un error tipográfico.

Profundizando en los datos, AgentSight muestra que incluso esta consulta de una sola vuelta desencadenó dos llamadas de LLM mientras el agente obtenía la habilidad meteorológica y luego consultaba el clima real. Cada llamada de herramienta adicional reproduce todo el historial de mensajes, causando que los tokens de entrada aumenten lineal o superlinealmente a medida que la ventana de contexto se relee repetidamente. El agente no está haciendo más trabajo. Está pagando el mismo peaje cada vez que cruza un puente.

A través de la inspección por evento de AgentSight, los usuarios pueden ver exactamente qué paso consumió qué parte del presupuesto. El prompt del sistema domina inicialmente, luego la creciente ventana de historial toma el control. La herramienta desglosa el consumo de tokens en dos niveles:

• Nivel de sesión: Cuántos tokens consume cada agente por sesión, mostrado como un solo gráfico que muestra la distribución global. Los valores atípicos, un agente que ejecuta 10 veces la media, se vuelven inmediatamente visibles.
• Nivel de diálogo: Una sola cadena de diálogo, que rastrea las tendencias de cambio de tokens a lo largo de la conversación. ¿Fue una invocación de habilidad específica particularmente verbosa? ¿Está inflada la ventana de historial? Cada token está contabilizado.

Los usuarios también pueden comparar tendencias entre segmentos de tiempo y dimensiones de agentes: cuánto se gastó la semana pasada versus esta semana, y qué día vio fluctuaciones anormales.

De factura total a libro de contabilidad detallado

Después de identificar cuánto se gastó y dónde fue, AgentSight agrega análisis de trayectoria: reproducción de cadena completa desde la recepción de tareas, a través de llamadas de herramientas y ramas de decisiones, hasta la salida final. Puedes reproducir qué habilidad invocó el agente en qué nodo, qué rama tomó y qué etapa consumió la mayor parte de la ventana de contexto. Una vez que los caminos redundantes son visibles, puedes optimizar el diseño del comportamiento del agente con intención, convirtiendo los tokens ineficaces en ahorros reales.

Esta es la primera vez que Alibaba trae tal observabilidad granular de costos a una plataforma de agentes a nivel de SO. La herramienta está disponible tanto en Alibaba Cloud como para implementación local a través de GitHub, con instrucciones de configuración proporcionadas en la documentación de Agentic OS.

Por qué esto importa

Los sobrecostos de agentes no son exclusivos del ecosistema de Alibaba. A medida que los agentes de IA pasan de demos a producción, las facturas de tokens sorprenden rutinariamente a los equipos que subestimaron el efecto compuesto de historiales de contexto largos y llamadas de herramientas repetidas. En el demanda de xAI Grok CSAM, vimos lo que sucede cuando los agentes carecen de salvaguardas adecuadas, pero el lado de los costos de las operaciones de agentes ha recibido mucha menos atención. Mientras tanto, un informe reciente de enfermedades transmitidas por alimentos de los CDC demostró cómo los recortes presupuestarios a los sistemas de vigilancia crean puntos ciegos. AgentSight es lo opuesto: es una inversión deliberada en visibilidad, asegurando que la línea entre una solicitud de 2.000 tokens y una factura de 140.000 tokens ya no sea invisible.

Para cualquiera que ejecute agentes en producción, la herramienta transforma los tokens de un shock de fin de mes a una métrica procesable. Aún tienes que optimizar la lógica del agente, pero al menos ahora puedes ver por dónde empezar.