تقييم الوكلاء الصوتيين: تبادل أدوار الحديث واستدعاء الأدوات والكلام التعبيري

ثلاثة قياسات لثلاثة قرارات

We measure these three abilities separately. An assistant can wait for you to finish speaking and still choose the wrong tool. It can also speak clearly while missing the emotion or style you requested.

قمنا بتشغيل النماذج المحلية على جهاز Apple M5 Pro بذاكرة تبلغ 48 جيجابايت. بالنسبة للخدمات السحابية، اختبرنا إصدارات النموذج والإعدادات المدرجة في النتائج.

Each section explains how many recordings we used, which languages we tested, and any results still being checked. These details help you compare the scores.

TurnBench: متى تعني الوقفة نهاية دور الحديث

يميّز TurnBench بين انتهاء دور المتحدث ووقفة داخل دوره. كما يميّز المقاطعة من إشارة استماع قصيرة مثل «همم». يركز الجدول أدناه على اكتشاف نهاية دور الحديث.

استخدمنا التسجيلات العامة للتطوير من TurnBench وشفرة التسجيل الخاصة بنا. يوضح الجدول حجم التشغيل لكل نموذج. يستخدم لوحة الصدارة الرسمية مجموعة اختبار منفصلة.

The Recall is the share of actual turn endings the model detects. FPR (false-positive rate) is the share of labeled pauses within a turn that it incorrectly treats as the speaker finishing.

ترتب لوحة الصدارة النماذج حسب مؤشر Youden’s J (J = الاستدعاء − FPR)، وتعرضه بصيغة J ×100؛ القيمة الأعلى أفضل. تقوم لوحة الصدارة للاختبار الرسمية بتصنيف النماذج حسب الاستدعاء، ويضع تلك التي يتجاوز فيها FPR نسبة 15% تحت تلك التي تفي بالحد.

يحقق VAP أعلى قيمة لمؤشر Youden’s J في مقارنتنا المكونة من خمس محادثات: استدعاء بنسبة 88.2% وFPR بنسبة 7.4%. تقوم Mimi بتحديد عدد أقل من الاكتشافات الخاطئة، عند نسبة 2.0%، ولكنها تلتقط عددًا أقل من نهايات الأدوار وتستغرق وقتًا أطول للبت.

VAP (Voice Activity Projection) يستمع إلى كلا المتحدثين على قنوات صوتية منفصلة ويتنبأ بنشاط الكلام القادم لكل منهما. يستخدم المحادثة الأخيرة لتقدير ما إذا كان المتحدث الحالي سيستمر أم سيتنازل عن الحديث للشخص الآخر. البحث حول VAP يوضح أنه يتعلم استخدام الإشارات في الصوت، مثل درجة الصوت والإيقاع.

الإصدار الذي قمنا بتشغيله تم تدريبه بشكل إضافي على 104 ساعات من الصوت المحادثاتي من otoSpeech. تفسيرنا هو أن هذا التدريب ورؤيته لكلا المتحدثين يساعد في تفسير نتيجته القوية في مقارنتنا.

اختبرنا أيضًا نموذج p99 CoreML القابل للتنزيل وكلاً من مخرجات VAP على محادثتين تطويريتين: 148 نهاية للدور و 94 وقفة داخل الدور، باستخدام سياسات قرار ثابتة. التقط p99 عدد 134 نهاية مع 15 اكتشافًا خاطئًا؛ والمنتجان VAP التقطا 124 باكتشافين خاطئين. قام كل مخرج باتخاذ نفس قرارات الأحداث مثل نقطة التحقق الأصلية الخاصة به. يسجل بروتوكول التحقق المدخلات ومستويات القطع. يحتفظ صف VAP بتشغيل المحادثات الأكبر المكون من خمس محادثات.

نماذج p99 CoreML و VAP CoreML لديها واجهات برمجة تطبيقات speech-swift. يعمل VAP ONNX عبر بيئات التشغيل C++ و Android. يغطي دليل التكامل التنزيلات والمدخلات الصوتية. تقوم تطبيقك بتعيين سياسة الاستجابة.

SLURP: اختيار إجراء من الأوامر المنطوقة

SLURP يحتوي على طلبات منزلية صوتية مع إجراء وقيم وسيطة مُعنونة. في اختبار التوجيه الخاص بنا، يأتي كل تسجيل بعشرة إجراءات مرشحة وخيار عدم اتخاذ إجراء.

تتضمن إعداداتنا لـ 1000 تسجيل طلبات تتضمن 810 طلبًا متاحًا له الإجراء الصحيح و 190 منها يتم حجب هذا الإجراء. نتوقع عدم اتخاذ أي إجراء في تلك الـ 190 طلبًا. يتحقق هذا مما إذا كان النموذج يرفض الطلب عندما يكون الإجراء الخاص به غير متاح.

تستخدم معظم الأنظمة 1000 تسجيل، بما في ذلك الصوت القريب والصوت البعيد. تقيس دقة الميكروفون البعيد الاختيارات الصحيحة على التسجيلات التي تمت من مسافة أبعد، عندما يكون الأداة المطلوبة متاحة. المكالمات رغم غياب الأداة تحصي الطلبات التي أعاد فيها النظام إجراءً حتى لو كانت الأداة المُعنونة غائبة. يجمع بين تسجيلات الصوت القريب والصوت البعيد، ولا يقيس التنشيط من الكلام الخلفي أو الصمت. يوضح الجدول العدد الدقيق.

يصل خط أنابيب Parakeet → Gemma 4 E2B المحلي إلى دقة الميكروفون البعيد بنسبة 75.2٪، وهي قريبة من نسبة Nova البالغة 75.9٪ ومتأخرة عن GPT Audio البالغة 83.0٪. ولكن في الـ 190 طلبًا التي كانت أداتها الصحيحة غير متاحة، اختار Gemma إجراءً 88 مرة: معدل التنشيط الخاطئ الخاص به هو 46.3٪. كان أحد الأمثلة هو “حذف عنصر”: مع عدم توفر إزالة القائمة، اختار إزالة التقويم. كما رفض 88 طلبًا كانت أداتها الصحيحة متاحة واختار الأداة الخاطئة في 69 أخرى.

يختار كل من Jev و GLiNER الأداة الصحيحة في 311 من أصل 423 طلبًا للميكروفون البعيد المدعوم، مما يعطي دقة بنسبة 73.5٪. يتغير سلوكهما عندما تكون الأداة الصحيحة مفقودة: لا يزال Jev يختار إجراءً في 22 من أصل 190 طلبًا (11.6٪)، بينما يفعل GLiNER ذلك في 74 طلبًا (39.0٪). على سبيل المثال، فسّر GLiNER طلب خفض مستوى صوت المتحدث على أنه تعتيم للضوء عندما كانت أداة مستوى الصوت غائبة. اختارت هذه الأمثلة إجراءً مختلفًا عن المطلوب. يمكن أن تتداخل أيضًا أوصاف الأدوات الأوسع: قد يتم إرسال طلب وصفة طعام إلى أداة طبخ عامة. يتبع عدّنا النية المُعنونة، لذلك لا ينشئ أن كل بديل كان غير معقول دلاليًا.

حصل Nova على أعلى درجة لمطابقة كل من الأداة وجميع قيم الوسائط المطلوبة: 45.4٪، أو 368 من أصل 810 طلبًا مدعومًا. وقد اختار الأداة الصحيحة في 643 طلبًا، لكن الوسائط فشلت في المطابقة في 275 منها. وفي 147 حالة كانت القيم مختلفة عن المرجع؛ وآخر 128 حذفت وسيطًا واحدًا على الأقل، وأحيانًا مع اختلافات في القيم.

كان عدم تطابق القيمة الأكثر شيوعًا هو الوقت، حيث ظهر في 34 من تلك الحالات. وشاهدنا أيضًا تواريخ مفقودة وحقول مسماة بشكل خاطئ. بالنسبة لطلب إنذار تضمن "هذا الأسبوع"، أعاد Nova الوقت ولكنه أغفل التاريخ. بعض الإخفاقات هي اختلافات في الصياغة: لا يتطابق "lasagna" مع "lasagne" المرجعية بموجب هذا المقارنة النصية الصارمة. تحسب الدرجة كلا النوعين من عدم التطابق.

InstructTTSEval: لأسلوب الإلقاء أنماط إخفاق خاصة به

بالنسبة لـ InstructTTSEval، نبقي النص المنطوق ثابتًا ونقوم بتوليد مقاطع منفصلة باستخدام ثلاثة أنواع من التعليمات:

• APS (Acoustic-Parameter Specification) يعطي إعدادات صوتية مفصلة، مثل درجة الصوت والسرعة ومستوى الصوت والملمس الصوتي. على سبيل المثال: "نبرة منخفضة، سرعة بطيئة، مستوى صوت خافت وصوت فيه بعض التنفس."
• DSD (Descriptive-Style Directive) يصف طريقة الإلقاء بلغة طبيعية، تاركًا بعض السمات الصوتية مفتوحة. على سبيل المثال: "تحدث بدفء وطمأنينة."
• RP (Role-Play) يعطي شخصية أو موقفًا ويطلب من النموذج الاستدلال حول كيفية الظهور. على سبيل المثال: "أنت طبيب يواسي مريضًا قلقًا."

توضح النسبة المئوية لكل نوع مدى تكرار اتباع الكلام المُولَّد لذلك التوجيه.

يحتوي التجمع الأكبر على 25 سطرًا مصدرًا باللغة الإنجليزية و 25 سطرًا مصدرًا باللغة الصينية، وثلاثة فحوصات لكل منها: 150 مقطع فيديو لكل نظام. يغطي Nova الـ 25 سطرًا باللغة الإنجليزية، بـ 75 فحصًا. بشكل عام هو إجمالي النجاحات مقسومًا على إجمالي الفحوصات؛ وبحجم المهام المتساوي، فهو متوسط APS و DSD و RP. يوفر حكم Gemini Pro المحفوظ أحكام الأسلوب، بينما يتحقق النسخ من الكلمات المنطوقة بشكل منفصل.

Original recordings هي الصوت المصدر البشري للمعيار المرجعي. نقوم بتقييمها بنفس التعليمات والحكم المستخدمين لتشغيل الـ 150 فحصًا لإعطاء الأصوات المُصنَّعة نقطة مرجعية. تعني نسبة 73.3٪ أن الحكم قبل 110 من أصل 150 فحص تعليمات.

على مجموعة الفحص المماثلة البالغة 150، سجل FireRedTTS3-Instruct نسبة 65.3% وسجل MOSS-VoiceGenerator نسبة 56.0%. سجل تشغيل Google TTS نسبة 67.3%. على الـ 75 فحصًا باللغة الإنجليزية، سجل FireRed نسبة 72.0%، وMOSS نسبة 52.0%، وGoogle نسبة 72.0%. لا يزال تشغيل VoxCPM2 بترميز BF16 عند 59.3%؛ وكانت نتيجة لعب الأدوار الخاصة به، بنسبة 46.0%، أضعف من نتائجه في وصف الصوت والتوجيه. سجلت مجموعة Qwen CustomVoice الأكبر نسبة 52.7%، مقابل 48.0% لتشغيل المدخل التجريبي الأصغر. لم يحدد الحجم وحده النتيجة.

أدى تحويل التعليمات إلى علامات الخاص بـ ElevenLabs لدينا إلى إسقاط الغناء المطلوب وبعض تغييرات العاطفة. فشل CosyVoice3 في فحص محتوى الكلمات على 48 من أصل 50 مقطعًا بتنسيق APS؛ كما أن إعداد التوليد الخاص به أغفل شرط المرجعية الموجود في التنفيذ الرسمي. لا تزال هذه المشكلات تتطلب التحقق من المدخلات المصححة. تحتوي نتائج التشغيل المصحح لـ Fish والعديد من الصفوف الأخرى على استجابات للحكم تدعي عدم توفر الصوت؛ ونحتفظ بتلك الأحكام ونعلم الصفوف المتأثرة بأنها مؤقتة. هذه النتائج خاصة بمنافذنا ومحولات المدخلات والحكم، وليست دليلاً على أن نموذجًا أعلى المستوى له نفس القيود في كل تطبيق.

تتركز معظم حالات الفشل في التسجيلات البشرية في لعب الأدوار: فشل 29 من أصل 50 فحصًا، مقارنة بثمانية لـ APS وثلاثة لـ DSD. يمكن للتسجيل الحقيقي أن يتناسب مع وصف صوتي مفصل ولكنه لا يطابق الدور المخصص له، ويمكن للحكم أيضًا ارتكاب الأخطاء. يساعدنا صف المرجع في تفسير درجات التعليمات؛ ولا يقيم جودة الكلام البشري.

تصميم الصوت بوصفه محركًا لتوليد الكلام

يولد تشيك بوينت VoiceDesign الخاص بـ Qwen صوتًا من وصف مكتوب. أما CustomVoice فيطبق التوجيهات على صوت مُعد مسبقًا ومُختار. يهم كل من التشيك بوينت وقناة التحكم: الحقل المسمى “instruction” لا يمنح النموذج قدرة لم يتم تدريبه عليها أبدًا.

اختبرنا Qwen3-TTS 1.7B VoiceDesign و Breeze TTS 2 على نفس المصادر الخمسة باللغة الإنجليزية والخمسة باللغة الصينية، مما أعطى 30 فحصًا لكل نموذج. أربعة فحوصات معايرة خارج نطاق درجاتها. احتفظنا بجميع المخرجات، بما في ذلك علامة كلمة منطوقة واحدة لكل نموذج.

اجتاز VoiceDesign عدد 23/30 من الفحوص، واجتاز Breeze عدد 20/30. وبما أن المهام الثلاث تستخدم التسجيلات الأصلية العشرة نفسها، فهذه مجرد تجربة تقييم أولية أثناء التطوير. للفارق المقترن البالغ 10 نقاط مئوية نطاق واسع محسوب بتجميع النتائج حسب التسجيل الأصلي، ويشمل الصفر. كما تختلف إعدادات نموذج التقييم عن المجموعة الأكبر، لذلك لا تثبت هذه التجربة أن VoiceDesign يتفوق على نتيجة Google البالغة 67.3%.

يحتوي كل من FireRedTTS3-Instruct و MOSS-VoiceGenerator الآن على 150 فحص أسلوب في الجدول أعلاه. أشارت فحوصات المحتوى المنفصلة إلى أن مقاطع FireRed بلغت 0/150 ومقاطع MOSS بلغت 12/150 لخطأ الكلمات فوق 30%. لا تزال عينات وقت التشغيل للسيناريوهات القصيرة في المساحة. كان أول PCM متاح حوالي 4.50 ثانية لـ FireRed و 0.47 ثانية لـ MOSS على النص الإنجليزي الدافئ؛ يعيد FireRed موجة صوتية كاملة بينما يقوم MOSS بالبث. هذه التوقيتات لا تحدد جودة التعليمات أو ترتيب الجودة-السرعة المطابق. يظل التصديق على زمن الوصول والذاكرة للنماذج الحالية غير حاسم.

أبحاث تبادل أدوار الحديث تتجاوز اكتشاف النهاية

لقطة بحثية: 30 أكتوبر 2026. يتضمن لوح TurnBench الرسمي المحجوز إرسالات أحدث تتجاوز خطوط الأساس الأصلية للورقة البحثية. يصف التقرير النظامي الخاص بـ p99 ما يقرب من 6.1 مليون معامل مُتعلَّم، ورؤوس تصنيف إضافية، وسياسة تناوب تستخدم كلتا القناتين الصوتيتين. يحتوي تنزيل Apache 2.0 الخاص به على النموذج أحادي المعامل البالغ 5.3 مليون معامل. يتضمن جدول إدارة الأدوار لدينا نقطة التفتيش القابلة للتنزيل تلك.

eot-bench من LiveKit يكمل هذا بأدوار حقيقية بين الإنسان والوكيل في 14 لغة. يقوم بمسح سياسات نهاية المقاطع ويقارن زمن الوصول بميزانية قطع خاطئ ثابتة، بما في ذلك منحنى المفاضلة الكامل. هذه خطوة تالية مفيدة لمنتج متعدد اللغات لأن العتبة التي تعمل باللغة الإنجليزية قد لا تناسب لغة أخرى.

MultiPartyTurnBench، الذي تم تقديمه هذا الشهر، يوسع التحكم في الدور من اثنين إلى خمسة متحدثين. أفاد مؤلفوه بأداء قوي لدخول الأدوار إلى جانب التعامل شبه العشوائي مع المقاطعات الانتقائية للوكلاء المُقيَّمين. توفر محادثاته المنشأة اختبارات خاضعة للرقابة، مع الحاجة إلى فحوصات بالصوت الحقيقي بجانبها. تتطلب الاجتماعات والغرف المشتركة أكثر من مجرد تمديد قاعدة نهاية المقاطع لمتحدثين اثنين.

Full-Duplex-Bench v3 يزاوج بين الكلام غير السلس الحقيقي واستدعاءات الأدوات المتسلسلة، كاشفًا عن التصحيحات الذاتية والإخفاقات متعددة الخطوات. يقوم DuplexAct، الذي تم تقديمه أيضًا هذا الشهر، بتقييم إجراءات التفاعل وما إذا كان الوكيل يتابع. نرى هذه اختبارات تكميلية للفجوة بين اكتشاف حدث وإكمال تفاعل مفيد. لم نجرِ هذه المعايير الأحدث في هذا المنشور.

توليد خاص للكلام ودبلجة موجّهة واختيار أصوات إنجليزية

توفر بيئات التشغيل و SDKs على الجهاز الخاصة بـ Soniqo كعناصر بناء لتطبيقات الكلام في بيئتك الخاصة. نعمل مع فرق تبني مسارات التوليف التعبيري والتعليق الصوتي الموجه عاطفياً: الاحتفاظ بالكلمات المقصودة، واختيار صوت، وتوفير موجز أداء، ثم مراجعة النتيجة في السياق.

يمكنك توصيل خلفية تصميم الصوت بمرحلة التوليف مع إبقاء سياسة الدور وتنفيذ الأدوات منفصلة. بالنسبة لمشهد مُروى، يمكن للتطبيق تحديد الطمأنينة الهادئة أو الإلحاح المتزايد بدلاً من استنتاج عاطفة وتغيير الأداء بدون تحكم مخرج. يحتاج سير عمل التعليق الصوتي أيضًا إلى التوقيت واستمرارية المتحدث ومراجعة الاستماع؛ لا تصادق المعايير الثلاثة المذكورة أعلاه على سير العمل الكامل هذا.

تتضمن خيارات الصوت باللغة الإنجليزية أصوات افتراضية أمريكية وبريطانية في كتالوج Kokoro. تضيف الواجهات الخلفية المدركة للأسلوب موجزات صوتية باللغة الطبيعية. يعد اختيار الصوت، وتصميم الصوت، والاستنساخ عناصر تحكم متميزة، ويختلف الدعم باختلاف النموذج. يحتاج التأكيد على لهجة إقليمية مطلوبة إلى تقييم من المستمعين الملمين بهذا التنوع؛ ولا يثبت دقة النسخ أو تشابه المتحدث أصالة الصوت.

مع توفير الواجهة الخلفية المحلية وأصول النموذج، يمكن أن يبقى التوليف في بيئة النشر. يعتمد النشر الدقيق واختيار النموذج على الأجهزة المستهدفة وشروط النموذج. لا تشكل بيانات المعايير البحثية فقط وأوزان النماذج المقيدة ترخيصًا تجاريًا شاملًا.

الاختيارات التي تدعمها هذه القياسات

• اختر سياسة تناوب بناءً على نقطة تشغيلها. في شريحة التطوير الخاصة بنا، يقدم VAP و Mimi مفاضلات مختلفة بين الاستدعاء، والإنذار الكاذب، والتأخير. تجاوزت الأبحاث المحتجزة حاليًا تلك الأساسيات الأصلية.
• عدّ طلبات الأدوات المكتملة. في إعدادنا ذي العشر إجراءات، اختار Nova الأداة الصحيحة على 643 طلبًا مدعومًا؛ وكان هناك أيضًا تطابق للحجج لـ 368 طلبًا. مثلت القيم الخاطئة والحقول المفقودة الفجوة.
• اختبار التوصيل حسب نوع التعليمات. يعد لعب الأدوار مجالاً أضعف في عدة تشغيلات. يستدعي نموذج VoiceDesign التجريبي مقارنة مطابقة أكبر، بدلاً من الادعاء بوجود فائز شامل جديد.

قياساتنا المفيدة التالية هي مجموعة بيانات VoiceDesign أكبر مع تحكيم مطابق، ونقطة نهاية متعددة اللغات بمعدلات قطع ثابتة، واختبارات تفاعل تحمل تصحيحًا حتى استدعاء الأداة النهائي. ينبغي أن يرافق المراجعة البشرية للهجة والطبيعية واستمرارية الأداء الدرجات التلقائية لعمل الصوت الإنتاجي.

اقرأ النتائج والبروتوكولات المباشرة، أو استكشف speech-swift، أو ناقش نشرًا خاصًا. تحتفظ الجداول أعلاه بأحجام التشغيل والإعدادات من اللقطة المرتبطة.