L'IA vocale s'améliore sur les mots, mais elle ne sait toujours pas entendre comment vous les dites

La voix est censée être la prochaine grande interface de l'IA. Service client, santé, éducation, assistants personnels, l'argument est constant depuis des années. Et sur le papier, tout semble bon. Les taux d'erreur de mots ont diminué. La latence atteint des vitesses conversationnelles. Les benchmarks habituels sont presque saturés.

Quiconque a vraiment parlé à une IA vocale pendant plus d'une minute sait que l'écart reste large. Le modèle qui commence une conversation en ressemblant à une personne peut la terminer en ressemblant à quelqu'un d'autre. L'agent bancaire qui dit gaiement « Je comprends votre frustration » sans aucune trace d'empathie. La pause que le système comble avec une réponse générique parce qu'il a complètement manqué l'hésitation.

Les benchmarks standards ne détectent rien de tout cela. Hume, la société derrière la plateforme d'IA vocale axée sur l'empathie, a construit une nouvelle suite d'évaluation appelée Real World VoiceEQ conçue pour mesurer exactement ce que ces métriques manquent. Et les résultats dressent un tableau désordonné d'un domaine qui a optimisé la vitesse et la précision au détriment de quelque chose de plus difficile à évaluer : si la voix à l'autre bout semble réellement humaine.

La méthode : un million d'évaluations, plus de 40 modèles

Le benchmark évalue plus de 40 modèles vocaux propriétaires et open source à travers 15 dimensions d'évaluation et plus de 60 métriques, couvrant l'ASR, la TTS, la parole-à-parole (S2S) et la compréhension de la parole. Les données proviennent de plus d'un million d'évaluations humaines collectées auprès de différentes démographies, styles de parole et environnements acoustiques. La version actuelle comprend 785 000 évaluations TTS et 48 000 évaluations STS, parmi les plus grandes évaluations humaines d'IA vocale menées publiquement.

Chaque évaluation a été collectée via la propre plateforme d'évaluation de Hume, Kairos, qui est également utilisée par les laboratoires de pointe pour exécuter des évaluations personnalisées et générer des données de préférence humaine.

Pas de vainqueur unique

La conclusion principale est celle que les praticiens soupçonnaient depuis un certain temps : il n'existe pas de meilleur modèle vocal. Dans l'évaluation TTS, aucune configuration de système ne s'est classée parmi les cinq premières dans les huit groupes de capacités définis par le benchmark. Les modèles optimisent des choses différentes. L'un peut exceller dans la prononciation de noms pharmaceutiques complexes et de numéros de compte bancaire, mais produire une parole monotone et sans vie. Un autre peut sembler remarquablement naturel mais échouer sur les tâches de précision.

La variation est la plus extrême dans les modèles de parole-à-parole, qui gèrent à la fois la reconnaissance et la génération dans un pipeline unique. Certains modèles reconnaissaient bien l'émotion mais ne pouvaient pas répondre naturellement. D'autres restaient largement pilotés par la transcription, se fiant aux mots prononcés tout en ignorant le ton, le rythme, l'hésitation, l'accentuation et le volume.

Ce dernier point est celui qui pique. Les humains utilisent ces indices constamment. Un « oui » confiant et un « ...oui... » hésitant ont des significations complètement différentes, mais la transcription semble identique. Le benchmark a révélé que même l'accès à l'audio ne garantissait pas que les agents utilisaient les informations paralinguistiques qu'il contenait.

Là où les chiffres cachent de vrais problèmes

Le benchmark met également en évidence comment les scores globaux peuvent masquer des modes de défaillance. Dans un exemple, les taux d'erreur de mots de transcription sur la parole bruitée étaient environ quatre fois plus élevés que sur la parole accompagnée de musique. Un score unique pour l'arrière-plan audio aurait aplani cette différence et rendu la défaillance invisible.

Dans des recherches préliminaires, Hume a également trouvé des signes que certains modèles pourraient être optimisés pour les benchmarks publics plutôt que pour des conditions réelles. Plusieurs ont reproduit des erreurs connues dans les transcriptions de référence, suivi des conventions d'orthographe arbitraires et même reconstruit des mots masqués qui n'étaient pas présents dans l'audio.

L'évaluation automatisée n'est pas encore prête

Les LLM sont largement utilisés pour évaluer les modèles de texte. Les résultats de Hume suggèrent que les modèles de langage vocal (SLM) devraient être utilisés avec prudence pour l'évaluation vocale. Lorsque l'entreprise a comparé les principaux SLM avec des évaluateurs humains formés sur des évaluations TTS, l'accord était le plus élevé sur les tâches avec des réponses claires et vérifiables, comme la précision de la prononciation. L'accord diminuait fortement sur les évaluations plus subjectives. Les SLM semblaient parfois déduire l'émotion d'indices contextuels textuels plutôt qu'acoustiques. L'accord le plus faible provenait de jugements ouverts, comme si une voix correspondait à un rôle d'acteur ou maintenait une identité cohérente tout au long d'une conversation.

Les évaluateurs automatisés sont utiles pour des tâches bien définies. Ils ne remplacent pas les auditeurs humains lorsque le contexte, la perception et l'interprétation sociale sont en jeu.

Hume positionne Real World VoiceEQ comme une extension du paradigme d'évaluation traditionnel, une métrique ancrée dans l'humain pour les composants de la voix synthétique que les scores quantitatifs n'ont jamais bien capturés. Le rapport technique complet et les classements sont publics. L'entreprise propose également des évaluations personnalisées via sa plateforme Kairos.