LLM & Modèles4 min read
Conception de systèmes / Infrastructure LLM
Pourquoi le routage de modèles est un problème de systèmes, pas de classification
Sur 417 tâches agentiques, GPT-4.1 s'est avéré presque deux fois plus cher que Sonnet malgré un prix catalogue inférieur, car la mise en cache, et non les taux de base, a dominé les coûts. Une analyse approfondie des raisons pour lesquelles le routage de modèles échoue lorsqu'il est traité comme une classification, et comment construire des routeurs qui optimisent simultanément le coût, la latence et la précision.
2026-07-15