Microsoft prueba un modelo chino para reducir los costos de Copilot hasta en 600 millones de dólares

Microsoft se prepara para ejecutar el modelo Kimi K3 de Moonshot AI dentro de Copilot, un movimiento que podría reducir su factura de inferencia de IA hasta en 600 millones de dólares, según un informe de The Information.

Los ingenieros que trabajan en Copilot planean evaluar si el modelo de pesos abiertos de 2,8 billones de parámetros puede impulsar funciones que actualmente dependen de sistemas de OpenAI y Anthropic. Las pruebas no son un hecho consumado: los ingenieros de Microsoft primero deben determinar si Kimi K3 cumple con los requisitos del producto en cuanto a calidad de respuesta, fiabilidad, seguridad y latencia.

La estimación de 600 millones de dólares, que Microsoft no ha confirmado públicamente, habla del costo puro de ejecutar inferencia a la escala de Copilot. La inferencia es el cómputo utilizado cada vez que un modelo recibe un prompt y genera una respuesta. Para un servicio que atiende a millones de usuarios y procesa grandes volúmenes de tokens, esos costos se acumulan rápidamente.

Microsoft ha probado anteriormente modelos DeepSeek y versiones anteriores de Kimi para Copilot, según una persona familiarizada con sus planes citada por el informe. Esas evaluaciones sugieren que la empresa se toma en serio la combinación de modelos en lugar de entregar cada carga de trabajo a un solo proveedor.

Kimi K3, lanzado el 16 de julio, es el modelo insignia de Moonshot. La startup lo describe como nativamente multimodal con una ventana de contexto de un millón de tokens, diseñado para codificación, trabajo de conocimiento y razonamiento complejo. En algunos benchmarks lidera el grupo, SWE Marathon, BrowseComp, Terminal-Bench 2.1, pero va por detrás de los modelos propietarios de frontera en la mayoría de las evaluaciones generales. Su estructura de pesos abiertos le daría a Microsoft más control sobre cómo se aloja y optimiza el modelo en Azure.

Microsoft ha estado impulsando este enfoque agnóstico de modelos a través de Foundry, su plataforma que anima a los desarrolladores a elegir modelos basados en capacidad, seguridad, latencia y costo en lugar de optar por la opción más potente por defecto. La página de precios de la plataforma ya enumera modelos anteriores de Moonshot, incluidos Kimi K2 Thinking, K2.5 Thinking y K2.6 Thinking. Kimi K3 aún no ha aparecido allí, lo que coincide con el informe de que la integración con Azure todavía está en curso.

Si las pruebas tienen éxito, significaría que un modelo chino de pesos abiertos se ejecuta dentro de uno de los productos emblemáticos de IA de Microsoft, profundizando los lazos de la empresa con Moonshot y añadiendo más presión de precios sobre los laboratorios estadounidenses que actualmente alimentan a Copilot. Con 600 millones de dólares en ahorros potenciales, la presión está claramente presente.