Le Qwen2.5-Omni d’Alibaba veut être le modèle qui entend, voit et parle, tout à la fois

Le paysage des modèles d’IA s’est longtemps organisé par sens : des modèles de vision pour les images, des modèles audio pour le son, des modèles de texte pour le langage. Mais cette taxonomie n’a de sens qu’à l’intérieur d’un laboratoire de recherche. Dans le monde réel, une conversation implique les expressions faciales, le ton de la voix et les mots eux-mêmes, tout à la fois. L’équipe Qwen d’Alibaba Cloud parie que la prochaine frontière est simplement tout à la fois.

Avec la sortie de Qwen2.5-Omni, l’entreprise propose un modèle multimodal de bout en bout qui ingère du texte, des images, de l’audio et de la vidéo, et produit à la fois du texte et de la parole naturelle en flux continu. Le modèle est open source (des versions avec 7 milliards et 3 milliards de paramètres sont disponibles sous licences permissives), et l’équipe a publié un rapport technique détaillé. Mais les chiffres seuls racontent une histoire qui mérite l’attention.

Un concurrent à la fois de Gemini et de la famille Qwen elle-même

L’un des résultats les plus frappants du document sur Qwen2.5-Omni est le tableau OmniBench : sur le benchmark de compréhension et de raisonnement du langage parlé MMSU, le modèle 7B a obtenu 61,32, derrière seulement Baichuan-Omni-1.5 avec 57,25 parmi les pairs open source, mais surtout devant toutes les autres alternatives ouvertes. Sur la suite plus large OmniBench, qui teste la parole, les événements sonores et la musique, Qwen2.5-Omni-7B a atteint 56,13 %, battant facilement les 42,91 % de Gemini-1.5-Pro et les 40,50 % de MiniCPM-o. Sur le raisonnement purement audio via MMAU, il a obtenu 65,60, dépassant largement Qwen2-Audio (49,20) et même Gemini-Pro-V1.5 (54,90).

Mais ce qui fait vraiment sourciller, c’est la comparaison avec ses propres frères spécialisés. Les scores image-texte de Qwen2.5-Omni-7B sur MMMU (59,2), MathVista (67,9), TextVQA (84,4) et DocVQA (95,2) sont très proches de ceux de Qwen2.5-VL-7B, respectivement 58,6, 68,2, 84,9 et 95,7. Les benchmarks vidéo sont tout aussi serrés : sur MVBench, le modèle omni dépasse légèrement la variante purement visuelle, 70,3 contre 69,6. Cela implique que l’ajout de la compréhension audio et de la parole n’a pas dégradé les performances visuelles, une réalisation architecturale non triviale.

Côté audio, le taux d’erreur de mots (WER) de Qwen2.5-Omni-7B sur LibriSpeech test-other est de 3,4, égalant Whisper-large-v3 et battant Llama-3-8B (3,4 contre 3,5 rapporté). Sur Common Voice English, il atteint 7,6, là encore compétitif avec les 9,3 de Whisper-large-v3. Pour la traduction parole-texte sur CoVoST2 (en-de), il obtient 30,2, devant Qwen2-Audio (29,9) et MiniCPM-o (qui n’a pas rapporté anglais-allemand). Les métriques de génération de parole, WER sur le benchmark Seed-TTS hard, sont de 6,54 pour le modèle RL, compétitives avec les 8,08 de CosyVoice 2-S et les 6,42 de Seed-TTS_RL.

L’architecture : Penseur et Parleur

Sous le capot, Qwen2.5-Omni utilise une architecture à deux blocs appelée Thinker-Talker (Penseur-Parleur). Le Penseur est un transformateur multimodal qui entrelace les tokens de texte, d’image, d’audio et de vidéo en utilisant un embedding de position personnalisé appelé TMRoPE (Time-aligned Multimodal RoPE), qui synchronise les images vidéo avec leurs pistes audio au niveau de l’horodatage. Le Parleur est un décodeur vocal dédié qui prend les états cachés du Penseur et produit un flux audio en continu. Cette séparation permet au système, par exemple, de retranscrire la requête parlée d’un utilisateur tout en générant une réponse parlée sans attendre la fin de l’entrée complète.

Le modèle prend également en charge l’entrée audio par morceaux pour une interaction en temps réel, une fonctionnalité que l’équipe a démontrée via l’interface de chat vocal et vidéo Qwen Chat, et qui est désormais disponible pour les développeurs via une API compatible OpenAI sur DashScope.

Mais l’exploit le plus cool pourrait être de fonctionner sur un téléphone

Peut-être la réalisation la plus pratique ici n’est-elle pas un score de benchmark mais un tableau de consommation mémoire. Qwen2.5-Omni-7B en BF16 nécessite 31,11 Go pour une entrée vidéo de 15 secondes, bien au-delà de ce qu’un GPU grand public peut gérer. Mais l’équipe a publié des versions quantifiées en 4 bits (GPTQ-Int4 et AWQ) qui réduisent cette exigence à 11,64 Go et 11,77 Go respectivement, permettant l’inférence sur une RTX 3080 ou 4080. Plus impressionnant encore, le modèle fonctionne désormais sur des appareils périphériques via MNN : une variante 7B sur un téléphone Snapdragon 8 Gen 1 utilise 5,8 Go de RAM de pointe et décode 11,52 tokens par seconde, lent mais utilisable pour un chat vocal de base. Un modèle 3B sur un Snapdragon 8 Elite pousse le décodage à 23,31 tok/s.

Mobiliser un modèle qui comprend des questions parlées sur un flux vidéo en direct tout en répondant oralement n’est pas qu’une démonstration ; cela ouvre des cas d’usage dans le service sur le terrain, l’accessibilité et la traduction en temps réel qui auraient nécessité plusieurs modèles distincts assemblés.

Implications pour les entreprises : le Qwen déconnecté

Qwen2.5-Omni arrive également accompagné d’une infrastructure : le Hermetic AI Sandbox, une architecture de référence par Arslan ud Din Shafiq, MVP d’Alibaba Cloud, pour déployer les modèles Qwen dans des VPC entièrement isolés (air-gapped) sans accès à Internet. La configuration utilise les groupes de ressources dédiés PAI-EAS d’Alibaba Cloud, les points de terminaison VPC pour le stockage OSS et le DNS PrivateZone pour acheminer les charges des poids du modèle sans jamais toucher à l’Internet public. Elle définit explicitement "enable_internet_access": false et remplace les chaînes d’outils RAG externes par des proxys internes puisant dans Jira, Confluence ou des bases de données sur site.

C’est important car la conformité dans les secteurs bancaire, de la santé et de la défense bloque souvent le déploiement de l’IA générative. Montrer une voie pour déployer le même modèle de pointe sans qu’aucun appel API ne quitte le VPC pourrait débloquer des cycles d’approvisionnement qui étaient bloqués.

Le revers : pas encore un niveau de polish Siri au poignet

Cela ne signifie pas pour autant que Qwen2.5-Omni est prêt à remplacer les assistants vocaux spécialisés. L’aperçu de la version bêta de watchOS 27 par The Verge, à titre de comparaison, souligne comment l’IA Siri d’Apple bénéficie d’une intégration étroite, de réponses cohérentes entre le téléphone et la montre, d’un contexte partagé et d’une décennie de raffinement de l’interface utilisateur. Un modèle multimodal à usage général n’a pas encore cet avantage. Le chat vocal de Qwen2.5-Omni sur un téléphone fonctionne, mais la latence, la fragilité des invites (l’invite système doit être définie textuellement pour que la sortie audio fonctionne) et l’absence d’une expérience de mot de réveil soignée le maintiennent dans le bac à sable des développeurs pour l’instant.

Néanmoins, la direction technique est claire. Alors que 2024 était l’année du modèle de chat, 2025 ressemble de plus en plus à l’année de l’IA qui marche, parle et voit. Qwen2.5-Omni montre que les architectures unifiées peuvent égaler les architectures spécialisées sans compromis, et que l’open source peut repousser cette frontière aussi vite que les plus grands laboratoires. La question est désormais moins de savoir si les modèles multimodaux arriveront, mais plutôt de savoir qui les rendra les premiers naturels.