IA3 min read
Recherche en IA
Analyse au niveau des tokens : les LLM hybrides excellent sur les mots porteurs de sens, peinent sur les répétitions
Les chercheurs de l'Allen Institute for AI ont comparé Olmo 3 et Olmo Hybrid token par token, constatant que les hybrides excellent sur les mots porteurs de sens mais pas sur les tokens répétés. Les travaux suggèrent des pertes filtrées par tokens comme méthode d'évaluation plus riche pour les architectures de modèles de langage.
2026-07-01