वॉइस एजेंट का मूल्यांकन: बोलने की बारी, टूल कॉल और अभिव्यंजक आवाज़

तीन निर्णयों के लिए तीन माप

We measure these three abilities separately. An assistant can wait for you to finish speaking and still choose the wrong tool. It can also speak clearly while missing the emotion or style you requested.

हमने स्थानीय मॉडल को Apple M5 Pro पर 48 GiB मेमोरी के साथ चलाया। क्लाउड सेवाओं के लिए, हमने परिणामों में सूचीबद्ध मॉडल संस्करणों और सेटिंग्स का परीक्षण किया।

Each section explains how many recordings we used, which languages we tested, and any results still being checked. These details help you compare the scores.

TurnBench: कब विराम का अर्थ बारी का अंत होता है

TurnBench बोलने वाले की बारी खत्म होने और उसी बारी के बीच के विराम में अंतर करता है। यह बीच में टोकने और «हूँ-हूँ» जैसे सुनते रहने के छोटे संकेत में भी अंतर करता है। नीचे की तालिका बारी के अंत की पहचान पर केंद्रित है।

हमने TurnBench की सार्वजनिक विकास रिकॉर्डिंग और इसके अपने स्कोरिंग कोड का उपयोग किया। तालिका प्रत्येक मॉडल के लिए रन आकार दिखाती है। आधिकारिक लीडरबोर्ड एक अलग टेस्ट सेट का उपयोग करता है।

The Recall is the share of real turn endings the model detects. FPR (false-positive rate) is the share of labelled pauses within a turn that it incorrectly treats as the speaker finishing.

हमारा लीडरबोर्ड मॉडलों को Youden’s J (J = रिकॉल − FPR) के अनुसार क्रमबद्ध करता है और इसे J ×100 के रूप में दिखाता है; अधिक मान बेहतर है। आधिकारिक टेस्ट लीडरबोर्ड मॉडल को रिकॉल द्वारा रैंक करता है, उन मॉडलों को जो 15% से अधिक के FPR पर हैं उन्हें उन मॉडलों से नीचे रखता है जो सीमा को पूरा करते हैं।

VAP में हमारे पांच-संवाद तुलना में उच्चतम Youden’s J है: 88.2% रिकॉल और 7.4% FPR। Mimi कम झूठी पहचान करता है, 2.0% पर, लेकिन कम टर्न एंडिंग पकड़ता है और निर्णय लेने में अधिक समय लेता है।

VAP (वॉयस एक्टिविटी प्रोजेक्शन) दोनों वक्ताओं को अलग-अलग ऑडियो चैनलों पर सुनता है और उनकी आगामी भाषण गतिविधि का अनुमान लगाता है। यह वर्तमान वार्तालाप का उपयोग यह अनुमान लगाने के लिए करता है कि क्या वर्तमान वक्ता जारी रखेगा या दूसरे व्यक्ति को सौंप देगा। VAP पर शोध से पता चलता है कि यह आवाज में संकेतों, जैसे पिच और लय, का उपयोग करना सीखता है।

जो संस्करण हमने चलाया वह otoSpeech से 104 घंटे के संवादात्मक ऑडियो पर आगे प्रशिक्षित किया गया था। हमारी व्याख्या है कि यह प्रशिक्षण और दोनों वक्ताओं का इसका दृष्टिकोण हमारे तुलना में इसके मजबूत परिणाम की व्याख्या करने में मदद करता है।

हमने डाउनलोड करने योग्य p99 CoreML मॉडल और दो विकास वार्तालापों पर दोनों VAP एक्सपोर्ट का भी परीक्षण किया: 148 टर्न एंडिंग और एक टर्न के अंदर 94 विराम, जिसमें निश्चित निर्णय नीतियां उपयोग की गईं। p99 ने 15 झूठे डिटेक्शन के साथ 134 एंडिंग पकड़ी; दोनों VAP एक्सपोर्ट ने दो झूठे डिटेक्शन के साथ 124 पकड़े। प्रत्येक एक्सपोर्ट ने अपने मूल चेकपॉइंट के समान घटना निर्णय लिए। सत्यापन प्रोटोकॉल इनपुट और कटऑफ रिकॉर्ड करता है। VAP पंक्ति बड़े पांच-बातचीत रन को बरकरार रखती है।

p99 CoreML और VAP CoreML मॉडल में speech-swift एपीआई हैं। VAP ONNX को C++ और Android रनटाइम के माध्यम से चलाया जाता है। एकीकरण गाइड डाउनलोड और ऑडियो इनपुट को कवर करता है। आपका एप्लिकेशन प्रतिक्रिया नीति सेट करता है।

SLURP: बोले गए कमांड से कार्रवाई चुनना

SLURP में एक एनोटेटेड एक्शन और आर्गुमेंट वैल्यू के साथ बोले गए होम-असिस्टेंट अनुरोध शामिल हैं। हमारे रूटिंग टेस्ट में, प्रत्येक रिकॉर्डिंग दस उम्मीदवार कार्यों और एक कोई-कार्रवाई विकल्प के साथ आती है।

हमारी 1,000-रिकॉर्डिंग सेटअप में सही कार्रवाई उपलब्ध वाले 810 अनुरोध और उस कार्रवाई को रोका गया 190 अनुरोध शामिल हैं। हम उन 190 अनुरोधों पर कोई कार्रवाई की उम्मीद नहीं करते हैं। यह जांचता है कि क्या मॉडल अनुरोध से इनकार करता है जब उसकी कार्रवाई अनुपलब्ध होती है।

अधिकांश सिस्टम में 1,000 रिकॉर्डिंग का उपयोग किया जाता है, जिसमें क्लोज-टॉक और फ़ार-फ़ील्ड ऑडियो शामिल हैं। फ़ार-माइक सटीकता दूर से रिकॉर्ड किए गए रिकॉर्डिंग पर सही विकल्पों को मापती है, जब अनुरोधित टूल उपलब्ध होता है। गायब टूल के बावजूद कॉल उन अनुरोधों की गिनती करता है जहां सिस्टम ने कार्रवाई वापस की भले ही एनोटेटेड टूल अनुपस्थित था। यह क्लोज-टॉक और फ़ार-फ़ील्ड रिकॉर्डिंग को पूल करता है, और पृष्ठभूमि भाषण या चुप्पी से सक्रियण को मापता नहीं है। तालिका सटीक गणना दिखाती है।

स्थानीय Parakeet → Gemma 4 E2B पाइपलाइन 75.2% फ़ार-माइक सटीकता तक पहुंचती है, जो Nova के 75.9% और GPT Audio के 83.0% से पीछे है। लेकिन उन 190 अनुरोधों पर जिसके सही टूल अनुपलब्ध थे, Gemma ने अभी भी 88 बार कार्रवाई चुनी: इसकी 46.3% झूठी-सक्रियण दर। एक उदाहरण था “delete item”: सूची हटाने की अनुपलब्धता के साथ, इसने कैलेंडर हटाने का विकल्प चुना। इसने उन 88 अनुरोधों को भी अस्वीकार कर दिया जिसके सही टूल उपलब्ध थे और अन्य 69 पर गलत टूल का चयन किया।

Jev और GLiNER दोनों ही समर्थित far-mic अनुरोधों में से 423 में से 311 पर सही उपकरण चुनते हैं, जिससे 73.5% सटीकता मिलती है। जब सही उपकरण अनुपस्थित होता है तो उनका व्यवहार बदल जाता है: Jev अभी भी 190 अनुरोधों में से 22 (11.6%) पर एक कार्रवाई चुनता है, जबकि GLiNER ऐसा 74 (39.0%) पर करता है। उदाहरण के लिए, GLiNER ने स्पीकर की आवाज़ कम करने के अनुरोध की व्याख्या तब किया जब वॉल्यूम टूल अनुपस्थित था, तो रोशनी मंद करने के रूप में। इन उदाहरणों में अनुरोधित कार्रवाई से अलग कार्रवाई का चयन किया गया था। व्यापक उपकरण विवरण भी ओवरलैप कर सकते हैं: एक रेसिपी अनुरोध को सामान्य खाना पकाने वाले उपकरण पर भेजा जा सकता है। हमारी गणना एनोटेटेड इरादे का पालन करती है, इसलिए यह स्थापित नहीं करती है कि हर वैकल्पिक अर्थहीन था।

Nova में टूल और सभी आवश्यक तर्क मानों से मेल खाने के लिए उच्चतम स्कोर है: 45.4%, या 810 समर्थित अनुरोधों में से 368। इसने 643 अनुरोधों पर सही उपकरण चुना, लेकिन तर्कों ने उनमें से 275 पर मिलान करने में विफल रहे। 147 मामलों में मान संदर्भ से भिन्न थे; अन्य 128 में कम से कम एक तर्क गायब था, कभी-कभी मान अंतर के साथ भी।

सबसे आम मान बेमेल एक समय था, जो उन मामलों में से 34 में दिखाई दिया। हमने लापता तिथियों और गलत नामित फ़ील्ड भी देखीं। अलार्म अनुरोध के लिए जिसमें “इस सप्ताह” शामिल था, Nova ने समय लौटाया लेकिन तारीख छोड़ दी। कुछ विफलताएं शब्दों के अंतर हैं: यह सख्त पाठ तुलना के तहत संदर्भ के “lasagne” से मेल नहीं खाता है। स्कोर दोनों तरह की बेमेल गणना करता है।

InstructTTSEval: बोलने के ढंग की अपनी विफलताएँ

InstructTTSEval के लिए, हम बोले गए स्क्रिप्ट को निश्चित रखते हैं और तीन प्रकार के निर्देश का उपयोग करके अलग क्लिप उत्पन्न करते हैं:

• APS (Acoustic-Parameter Specification) पिच, गति, वॉल्यूम और मुखर बनावट जैसे विस्तृत आवाज सेटिंग्स देता है। उदाहरण के लिए: “कम पिच, धीमी गति, नरम आवाज़ और थोड़ी साँस लेने वाली आवाज़।”
• DSD (Descriptive-Style Directive) प्राकृतिक भाषा में डिलीवरी का वर्णन करता है, कुछ आवाज विशेषताओं को खुला छोड़ देता है। उदाहरण के लिए: “गर्मजोशी और आश्वस्त करने वाले तरीके से बोलें।”
• RP (Role-Play) एक चरित्र या स्थिति देता है और मॉडल से अनुमान लगाने के लिए कहता है कि कैसे आवाज़ निकालनी है। उदाहरण के लिए: “आप एक चिंतित मरीज को सांत्वना देने वाले डॉक्टर हैं।”

प्रत्येक प्रकार का प्रतिशत दिखाता है कि उत्पन्न भाषण कितनी बार उस निर्देश का पालन करता था।

बड़ा समूह 25 अंग्रेजी और 25 चीनी स्रोत पंक्तियाँ रखता है, प्रत्येक के लिए तीन जांच: प्रति सिस्टम 150 क्लिप। Nova 25 अंग्रेजी लाइनों को कवर करता है, जिसमें 75 जांच हैं। कुल मिलाकर यह कुल पास को कुल जांचों से विभाजित किया जाता है; समान कार्य आकार के साथ, यह APS, DSD और RP का माध्य है। एक सहेजा गया Gemini Pro जज शैली के निर्णय प्रदान करता है, जबकि प्रतिलेखन बोले गए शब्दों की अलग से जाँच करता है।

Original recordings बेंचमार्क का मानव स्रोत ऑडियो हैं। हम संश्लेषित आवाज़ों को एक संदर्भ बिंदु देने के लिए उन्हीं निर्देशों और जज का उपयोग करते हैं जो 150-जांच रन के लिए उपयोग किए जाते हैं। उनका 73.3% मतलब है कि जज ने 150 निर्देश जांचों में से 110 स्वीकार किए।

मैच किए गए 150-चेक समूह पर, FireRedTTS3-Instruct ने 65.3% अंक प्राप्त किए और MOSS-VoiceGenerator ने 56.0% अंक प्राप्त किए। Google के TTS रन ने 67.3% अंक प्राप्त किए। 75 अंग्रेजी चेकों पर, FireRed ने 72.0%, MOSS ने 52.0% और Google ने 72.0% स्कोर किया। VoxCPM2 का BF16 रन 59.3% पर ही रहा; इसका रोल-प्ले परिणाम, 46.0%, इसके वॉयस-विवरण और दिशा परिणामों से कमजोर है। बड़ा Qwen CustomVoice चेकपॉइंट 52.7% अंक प्राप्त करता है, जबकि छोटे प्रायोगिक-इनपुट रन के लिए यह 48.0% है। अकेले आकार ने स्कोर निर्धारित नहीं किया।

हमारे ElevenLabs इंस्ट्रक्शन-टू-टैग रूपांतरण में अनुरोधित गायन और कुछ भावना परिवर्तनों की कमी आई। CosyVoice3 ने 50 APS क्लिप में से 48 पर शब्द-सामग्री जांच में विफल रहा; इसकी जनरेशन सेटअप में आधिकारिक कार्यान्वयन में मौजूद संदर्भ कंडीशनिंग भी अनुपस्थित थी। इन मुद्दों के लिए अभी भी सही-इनपुट सत्यापन की आवश्यकता है। Fish के सुधारे गए रन और कई अन्य पंक्तियों में निर्णायक प्रतिक्रियाएं हैं जिनमें दावा किया गया था कि ऑडियो अनुपलब्ध था; हम उन फैसलों को बरकरार रखते हैं और प्रभावित पंक्तियों को अस्थायी चिह्नित करते हैं। ये हमारे पोर्ट्स, इनपुट एडेप्टर और निर्णायक के लिए परिणाम हैं, न कि यह निष्कर्ष कि किसी अपस्ट्रीम मॉडल की हर कार्यान्वयन में समान सीमाएं हैं।

मानव रिकॉर्डिंग पर अधिकांश विफलताएं रोल-प्ले में हैं: 50 चेकों में से 29 विफल होते हैं, जबकि APS के लिए आठ और DSD के लिए तीन विफल होते हैं। एक वास्तविक रिकॉर्डिंग विस्तृत वॉयस विवरण को फिट कर सकती है लेकिन उसे सौंपा गया रोल मैच नहीं हो सकता है, और निर्णायक भी गलतियाँ कर सकता है। संदर्भ पंक्ति हमें निर्देश स्कोर की व्याख्या करने में मदद करती है; यह मानव भाषण की गुणवत्ता का मूल्यांकन नहीं करती है।

आवाज़ के डिज़ाइन को संश्लेषण बैकएंड बनाना

Qwen’s VoiceDesign चेकपॉइंट एक लिखित विवरण से आवाज उत्पन्न करता है। CustomVoice इसके बजाय एक चयनित प्रीसेट आवाज पर दिशाएं लागू करता है। चेकपॉइंट और नियंत्रण चैनल मायने रखते हैं: “instruction” नामक फ़ील्ड मॉडल को वह क्षमता नहीं देता जिसके लिए उसे कभी प्रशिक्षित नहीं किया गया था।

हमने Qwen3-TTS 1.7B VoiceDesign और Breeze TTS 2 का परीक्षण एक ही पांच अंग्रेजी और पांच चीनी स्रोतों पर किया, जिससे प्रति मॉडल 30 चेक दिए गए। चार अंशांकन जांच उनके स्कोर से बाहर हैं। हमने सभी आउटपुट बरकरार रखे, जिसमें प्रति मॉडल एक बोले गए शब्द ध्वज शामिल है।

VoiceDesign ने 23/30 और Breeze ने 20/30 जाँचें पास कीं। तीनों कार्यों में वही दस मूल रिकॉर्डिंग इस्तेमाल हुई हैं, इसलिए यह विकास के दौरान किया गया प्रारंभिक मूल्यांकन है। युग्मित तुलना में 10 प्रतिशत अंकों के अंतर का अंतराल, मूल रिकॉर्डिंग के अनुसार समूह बनाकर गणना करने पर, व्यापक है और उसमें शून्य भी शामिल है। मूल्यांकन मॉडल की सेटिंग बड़े समूह से अलग है, इसलिए यह पायलट साबित नहीं करता कि VoiceDesign का प्रदर्शन Google के 67.3% परिणाम से बेहतर है।

FireRedTTS3-Instruct और MOSS-VoiceGenerator दोनों में अब ऊपर की तालिका में 150 स्टाइल चेक हैं। अलग सामग्री जांच ने वर्ड एरर के लिए FireRed क्लिप में 0/150 और MOSS क्लिप में 12/150 को चिह्नित किया, जो 30% से अधिक था। उनके छोटे-स्क्रिप्ट रनटाइम नमूने स्पेस में बने हुए हैं। गर्म अंग्रेजी स्क्रिप्ट पर पहले उपलब्ध PCM लगभग 4.50 सेकंड FireRed के लिए और 0.47 सेकंड MOSS के लिए था; FireRed एक पूर्ण वेवफॉर्म लौटाता है जबकि MOSS स्ट्रीम करता है। ये समय निर्धारण निर्देश की गुणवत्ता या एक मेल खाने वाली गुणवत्ता-गति रैंकिंग स्थापित नहीं करते हैं। मौजूदा मॉडल विलंबता और मेमोरी प्रमाणन अभी भी अनिर्णायक है।

बोलने की बारी पर शोध केवल अंत पहचानने तक सीमित नहीं है

शोध स्नैपशॉट: 30 अक्टूबर 2026। आधिकारिक TurnBench होल्ड-आउट बोर्ड में पेपर के मूल बेसलाइन से परे नई प्रस्तुतियाँ शामिल हैं। p99 का सिस्टम राइट-अप 6.1 मिलियन सीखे गए मापदंडों, अतिरिक्त वर्गीकरण हेड्स और एक टर्न पॉलिसी का वर्णन करता है जो दोनों ऑडियो चैनलों का उपयोग करती है। इसका Apache 2.0 डाउनलोड में 5.3-मिलियन-पैरामीटर मोनो मॉडल शामिल है। हमारी टर्न-टेकिंग तालिका में वह डाउनलोड करने योग्य चेकपॉइंट शामिल है।

LiveKit का eot-bench इसे 14 भाषाओं में वास्तविक मानव-से-एजेंट टर्न के साथ पूरक करता है। यह एंडपॉइंटिंग नीतियों को स्वीप करता है और पूरे ट्रेडऑफ कर्व सहित एक निश्चित फॉल्स-कटऑफ बजट पर विलंबता की तुलना करता है। यह एक बहुभाषी उत्पाद के लिए एक उपयोगी अगला कदम है क्योंकि अंग्रेजी में काम करने वाली थ्रेशोल्ड दूसरे भाषा के लिए उपयुक्त नहीं हो सकती है।

MultiPartyTurnBench, इस महीने प्रस्तुत किया गया, फ्लोर नियंत्रण को दो से पांच वक्ताओं तक बढ़ाता है। इसके लेखकों ने मूल्यांकन किए गए एजेंटों के लिए लगभग मौका चयनशील हस्तक्षेप हैंडलिंग के साथ मजबूत टर्न-एंट्री प्रदर्शन की सूचना दी है। इसकी उत्पन्न बातचीत नियंत्रित परीक्षण प्रदान करती है, जिसके साथ वास्तविक-ऑडियो जांच की आवश्यकता होती है। बैठकों और साझा कमरों के लिए दो-वक्ता एंडपॉइंट नियम का विस्तार करने से अधिक की आवश्यकता होती है।

Full-Duplex-Bench v3 वास्तविक विfluent भाषण को चेन किए गए टूल कॉल के साथ जोड़ता है, जिससे स्व-सुधार और बहु-चरणीय विफलताएं उजागर होती हैं। DuplexAct, जिसे भी इस महीने प्रस्तुत किया गया, इंटरैक्शन कार्यों का मूल्यांकन करता है और कि क्या एजेंट आगे बढ़ता है। हम इन्हें घटना का पता लगाने और एक उपयोगी इंटरैक्शन को पूरा करने के बीच के अंतर के लिए पूरक परीक्षण मानते हैं। हमने इन नए बेंचमार्क को इस पोस्ट में नहीं चलाया है।

निजी संश्लेषण, निर्देशित डबिंग और अंग्रेज़ी आवाज़ों का चुनाव

Soniqo के निजी रनटाइम और ऑन-डिवाइस SDK आपके अपने वातावरण में भाषण अनुप्रयोगों के लिए बिल्डिंग ब्लॉक प्रदान करते हैं। हम अभिव्यंजक संश्लेषण और भावनात्मक रूप से निर्देशित डबिंग पाइपलाइन बनाने वाली टीमों के साथ काम करते हैं: इच्छित शब्दों को बनाए रखें, एक आवाज चुनें, एक डिलीवरी ब्रीफ प्रदान करें, फिर संदर्भ में परिणाम की समीक्षा करें।

आप टर्न पॉलिसी और टूल निष्पादन को अलग रखते हुए संश्लेषण चरण में एक वॉयस-डिज़ाइन बैकएंड प्लग कर सकते हैं। एक सुनाई गई दृश्य के लिए, एप्लिकेशन निर्देशक के नियंत्रण के बिना भावना का अनुमान लगाने और प्रदर्शन बदलने के बजाय शांत आश्वासन या बढ़ती तात्कालिकता निर्दिष्ट कर सकता है। डबिंग वर्कफ़्लो को भी समय निर्धारण, स्पीकर निरंतरता और एक सुनने की समीक्षा की आवश्यकता होती है; उपरोक्त तीन बेंचमार्क संपूर्ण कार्यप्रवाह को प्रमाणित नहीं करते हैं।

Kokoro कैटलॉग में अंग्रेजी वॉयस विकल्पों में अमेरिकी और ब्रिटिश प्रीसेट आवाजें शामिल हैं। स्टाइल-जागरूक बैकएंड प्राकृतिक भाषा वॉयस ब्रीफ जोड़ते हैं। प्रीसेट चयन, वॉयस डिज़ाइन और क्लोनिंग अलग-अलग नियंत्रण हैं, और समर्थन मॉडल के अनुसार भिन्न होता है। किसी अनुरोधित क्षेत्रीय लहजे का मूल्यांकन उस विविधता से परिचित श्रोताओं के साथ किया जाना चाहिए; प्रतिलेखन सटीकता और वक्ता समानता प्रामाणिकता स्थापित नहीं करते हैं।

स्थानीय बैकएंड और मॉडल एसेट्स प्रदान किए जाने पर, संश्लेषण तैनाती वातावरण में रह सकता है। सटीक तैनाती और मॉडल का चुनाव लक्षित हार्डवेयर और मॉडल की शर्तों पर निर्भर करता है। केवल शोध-आधारित बेंचमार्क डेटा और प्रतिबंधित मॉडल वज़न कोई व्यापक वाणिज्यिक लाइसेंस नहीं हैं।

इन मापों से किन विकल्पों को आधार मिलता है

• इसके संचालन बिंदु के अनुसार एक टर्न नीति चुनें। हमारे dev slice में, VAP और Mimi अलग-अलग रिकॉल, फॉल्स-अलार्म और विलंब ट्रेडऑफ़ प्रदान करते हैं। वर्तमान रखे गए शोध मूल आधार रेखाओं से आगे निकल चुके हैं।
• पूर्ण टूल अनुरोधों की गणना करें। हमारी दस-कार्रवाई सेटअप में, Nova ने 643 समर्थित अनुरोधों पर सही उपकरण चुना; 368 में भी मिलान करने वाले तर्क थे। गलत मान और गुम फ़ील्ड द्वारा अंतर को समझाया गया।
• निर्देश प्रकार के अनुसार डिलीवरी का परीक्षण करें। रोल-प्ले कई रनों में एक कमजोर क्षेत्र है। VoiceDesign पायलट को नए समग्र विजेता के दावे के बजाय बड़े मिलान वाले तुलना की आवश्यकता है।

हमारे अगले उपयोगी माप एक बड़े VoiceDesign समूह के साथ मिलान करने वाले निर्णय, निश्चित कटऑफ दरों पर बहुभाषी एंडपॉइंटिंग, और इंटरैक्शन परीक्षण हैं जो अंतिम टूल कॉल तक सुधार ले जाते हैं। उत्पादन आवाज कार्य के लिए उच्चारण, प्राकृतिकता और प्रदर्शन निरंतरता की मानव समीक्षा स्वचालित स्कोर के साथ होनी चाहिए।

लाइव परिणाम और प्रोटोकॉल पढ़ें, speech-swift का पता लगाएं, या एक निजी परिनियोजन पर चर्चा करें। ऊपर की तालिकाएँ जुड़े स्नैपशॉट से रन आकार और सेटिंग्स बनाए रखती हैं।