Qwen-Music place la mélodie au premier plan, et les résultats parlent d'eux-mêmes

L'équipe Qwen d'Alibaba a publié le rapport technique de Qwen-Music, et il vaut la peine d'être lu pour la manière dont il gère la mélodie seule. L'idée centrale : ne pas demander au modèle de langage de comprendre la composition et l'arrangement en même temps. Au lieu de cela, faites-lui d'abord planifier la mélodie vocale, puis remplissez tout le reste autour.

L'équipe appelle cela Melody-CoT, abréviation de chaîne de pensée. Avant de générer la séquence complète de tokens musicaux, le modèle produit un ensemble intermédiaire de tokens de mélodie décrivant un contour vocal grossier. Ce n'est pas une trace de hauteur fine ; c'est une représentation à faible fréquence d'images à 6,25 Hz qui préserve la forme de la mélodie tout en éliminant le vibrato, les ornements et autres détails de niveau d'interprétation. Le modèle génère ensuite le reste de la chanson en fonction de ce plan.

Melody-CoT fait double emploi en tant qu'interface pour la génération de reprises. Pour les reprises, les tokens de mélodie de référence sont extraits d'un fichier audio source et insérés dans le préfixe de l'invite à côté des étiquettes de style cible et des paroles. Le modèle génère ensuite de nouveaux tokens qui suivent le contour de référence tout en permettant au timbre, à l'arrangement et au genre de changer.

Séparer la composition du rendu traverse toute l'architecture. Le système utilise trois composants principaux : un tokeniseur qui comprime l'audio en tokens sémantiques à 25 Hz, un modèle de langage de 3 milliards de paramètres (initialisé à partir de Qwen3.5-Omni) qui génère ces tokens, et un moteur de rendu qui convertit la séquence de tokens discrets en formes d'onde stéréo à 48 kHz via diffusion et raffinement spectral. Cette conception signifie que le modèle de langage n'a jamais à se soucier de la cohérence de phase ou des détails haute fréquence. Il travaille dans un espace sémantique compressé, et le moteur de rendu gère la fidélité acoustique.

Les données d'entraînement aident à expliquer les résultats. Qwen-Music-LLM s'entraîne sur plus de 5 millions d'heures de données musicales multilingues couvrant des centaines de langues. C'est beaucoup de musique, et l'équipe ne les jette pas toutes en même temps. Ils entraînent un modèle de récompense basé sur MOS séparé pour estimer la qualité audio, puis classent chaque échantillon dans son genre en sept catégories. Q1 est le meilleur, Q7 est écarté. L'entraînement progresse ensuite à travers un programme en trois étapes : d'abord sur les données Q3, Q6 pour une couverture large, puis les données Q2 pour la consolidation de la qualité, et enfin les données Q1 pour le raffinement de haute qualité.

Le pipeline post-entraînement suit une progression similaire. Le réglage fin supervisé sur des données de haute qualité organisées établit une base de génération propre. Ensuite, des cycles itératifs de DPO affinent l'alignement avec les préférences musicales humaines et le suivi des instructions. Enfin, l'optimisation GSPO sur politique pousse la musicalité plus loin. L'équipe rapporte que cette mise en scène est délibérée : chaque phase se construit sur une base stable de la précédente, plutôt que d'essayer de résoudre les problèmes d'alignement après exploration.

Comment cela fonctionne-t-il ? Les résultats d'évaluation sont compétitifs. Sur 600 prompts en chinois et en anglais, Qwen-Music obtient le meilleur résultat sur 13 des 16 métriques objectives à travers trois benchmarks : SongBench, SongEval et AudioBox-Aesthetic. Lors de tests de préférence A/B en aveugle avec des évaluateurs humains professionnels, Qwen-Music bat MiniMax Music 2.5+ (59,1 %), MiniMax Music 2.6 (66,7 %), Mureka V8 (58,3 %) et Suno V5 (55,4 %). Contre Suno V5.5, le taux de victoire est de 50,3 %, essentiellement une égalité. Le système est également apparu sur le classement Artificial Analysis Music with Vocals Leaderboard sous le nom JazzCat, se classant troisième parmi les systèmes de génération musicale vocale en anglais.

La génération de reprises est testée contre Suno V5.5, Suno V5 et MiniMax Cover. Sur l'ensemble de référence généré par IA, Qwen-Music préserve les mélodies de référence plus précisément que tous les trois. Sur les références de chansons populaires réelles, il surpasse MiniMax Cover sur la plupart des métriques. Cela couvre les cas où l'audio de référence est disponible.

Un détail qui mérite d'être noté à propos du tokeniseur de mélodie. L'équipe a également expérimenté des représentations basées sur le chromagramme pour le conditionnement de la mélodie, similaires à ce que d'autres systèmes utilisent. Ils ont constaté que les chromagrammes retiennent souvent trop d'informations sur l'arrangement de fond, rendant le signal de conditionnement trop fort et réduisant la capacité du modèle à suivre les étiquettes de style global. Ils ont donc opté pour une approche plus propre basée sur le contour de hauteur qui enlève tout sauf la forme de la mélodie. Ce genre de choix de conception fait la différence entre un modèle qui copie docilement une référence et un qui la réinterprète vraiment.

Qwen-Music n'est pas encore disponible pour un usage public, et le rapport ne mentionne pas de calendrier de publication. Pour l'instant, il représente un jalon technique avec un récit architectural clair : garder la composition et le rendu séparés, planifier les mélodies explicitement, et s'entraîner avec des données classées par qualité plutôt qu'une curation uniforme.