ذكاء صوتي يتحسن في الكلمات، لكنه لا يزال عاجزًا عن سماع كيف تقولها

من المفترض أن يكون الصوت واجهة الذكاء الاصطناعي الكبيرة التالية. دعم العملاء، الرعاية الصحية، التعليم، المساعدون الشخصيون، لقد كان الترويج ثابتًا لسنوات. وعلى الورق، تبدو الأمور جيدة. انخفضت معدلات خطأ الكلمات. زمن الوصول وصل إلى سرعات المحادثة. المعايير المعتادة تقترب من التشبع.

أي شخص تحدث بالفعل إلى ذكاء اصطناعي صوتي لأكثر من دقيقة يعلم أن الفجوة لا تزال واسعة. النموذج الذي يبدأ محادثة ويبدو كشخص واحد قد ينتهي بها ليبدو كشخص آخر. الوكيل المصرفي الذي يقول بمرح "أنا أفهم إحباطك" دون أي أثر للتعاطف. التوقف المؤقت الذي يملؤه النظام بإجابة عامة لأنه فاته التردد بالكامل.

المعايير القياسية لا تلتقط أيًا من هذا. شركة هوم، التي تقف وراء منصة الذكاء الصوتي التي تركز على التعاطف، بنت مجموعة تقييم جديدة تسمى Real World VoiceEQ مصممة لقياس ما تفتقده هذه المقاييس بالضبط. والنتائج ترسم صورة فوضوية لمجال قام بتحسين السرعة والدقة على حساب شيء يصعب تسجيله: ما إذا كان الصوت على الطرف الآخر يبدو بشريًا حقًا.

المنهج: مليون تقييم، أكثر من 40 نموذجًا

يقيم المعيار أكثر من 40 نموذجًا صوتيًا مملوكًا ومفتوح المصدر عبر 15 بُعد تقييم وأكثر من 60 مقياسًا، تغطي التعرف التلقائي على الكلام (ASR)، تحويل النص إلى كلام (TTS)، الكلام إلى كلام (S2S)، وفهم الكلام. تأتي البيانات من أكثر من مليون تقييم بشري تم جمعها عبر فئات سكانية مختلفة، وأنماط كلام، وبيئات صوتية. يتضمن الإصدار الحالي 785,000 تقييم لـ TTS و48,000 تقييم لـ STS، من بين أكبر التقييمات البشرية للذكاء الصوتي التي أجريت علنًا.

تم جمع كل تقييم باستخدام منصة التقييم الخاصة بهوم، Kairos، والتي تستخدمها أيضًا مختبرات الحدود لتشغيل تقييمات مخصصة وتوليد بيانات تفضيل بشري.

لا فائز واحد

النتيجة الرئيسية هي التي اشتبه فيها الممارسون لبعض الوقت: لا يوجد أفضل نموذج صوتي. في تقييم TTS، لم يصنف أي تكوين للنظام ضمن الخمسة الأوائل عبر جميع المجموعات الثماني للقدرات التي حددها المعيار. تحسن النماذج لأشياء مختلفة. قد يتقن أحدها نطق أسماء الأدوية المعقدة وأرقام الحسابات المصرفية لكنه ينتج كلامًا خشبيًا ورتيبًا. قد يبدو آخر طبيعيًا بشكل ملحوظ لكنه يفشل في المهام الدقيقة.

التباين هو الأكثر تطرفًا في نماذج الكلام إلى الكلام، التي تتعامل مع كل من التعرف والتوليد في خط أنابيب واحد. بعض النماذج تعرفت على العاطفة جيدًا لكنها لم تستطع الرد بشكل طبيعي. بقي البعض الآخر مدفوعًا بالنص إلى حد كبير، معتمدًا على الكلمات المنطوقة مع تجاهل النبرة، الإيقاع، التردد، التأكيد، وحجم الصوت.

تلك النقطة الأخيرة هي التي تؤلم. يستخدم البشر تلك الإشارات باستمرار. "نعم" واثقة و"...نعم..." مترددة تحملان معاني مختلفة تمامًا، لكن النص يبدو متطابقًا. وجد المعيار أنه حتى الوصول إلى الصوت لم يضمن أن الوكلاء استخدموا المعلومات غير اللغوية التي يحتويها.

حيث تخفي الأرقام مشاكل حقيقية

يسلط المعيار الضوء أيضًا على كيف يمكن للنتائج الإجمالية إخفاء أنماط الفشل. في أحد الأمثلة، كانت معدلات خطأ الكلمات في النسخ على الكلام المدعوم بالضوضاء أعلى بحوالي أربع مرات من الكلام المدعوم بالموسيقى. كانت نتيجة خلفية صوتية واحدة ستسوي هذا الاختلاف وتجعل الفشل غير مرئي.

في بحث أولي، وجدت هوم أيضًا علامات على أن بعض النماذج قد تكون مُحسّنة للمعايير العامة بدلاً من الظروف الحقيقية. أعاد العديد إنتاج أخطاء معروفة في نصوص مرجعية، واتبعوا اصطلاحات إملائية عشوائية، وحتى أعادوا بناء كلمات مقنعة لم تكن موجودة في الصوت.

التقييم الآلي ليس جاهزًا بعد

تُستخدم نماذج اللغات الكبيرة (LLMs) على نطاق واسع لتقييم نماذج النصوص. تشير نتائج هوم إلى أن نماذج اللغة الكلامية (SLMs) يجب استخدامها بحذر لتقييم الصوت. عندما قارنت الشركة نماذج SLMs الرائدة مع مقيمين بشريين مدربين على تقييمات TTS، كان التوافق أعلى في المهام ذات الإجابات الواضحة والقابلة للتحقق، مثل دقة النطق. انخفض التوافق بشكل حاد في التقييمات الأكثر ذاتية. بدت نماذج SLMs أحيانًا تستنتج العاطفة من الإشارات السياقية النصية بدلاً من الإشارات الصوتية. جاء أضعف توافق من الأحكام المفتوحة مثل ما إذا كان الصوت مناسبًا لدور تمثيلي أو حافظ على هوية متسقة خلال محادثة.

المقيمون الآليون مفيدون للمهام المحددة جيدًا. لكنهم ليسوا بديلاً عن المستمعين البشريين عندما تكون السياق والإدراك والتفسير الاجتماعي على المحك.

تضع هوم Real World VoiceEQ على أنه امتداد لنموذج التقييم التقليدي، مقياس بشري لمكونات الصوت الاصطناعي التي لم تلتقطها النتائج الكمية جيدًا أبدًا. التقرير الفني الكامل ولوحات المتصدرين عامة. تقدم الشركة أيضًا تقييمات مخصصة من خلال منصتها Kairos.