CosyVoice3

Mac पर MLX के साथ CosyVoice3 स्थानीय रूप से चलाकर नौ भाषाओं में आवाज़ बनाएँ और छोटी रिकॉर्डिंग से आवाज़ क्लोन करें। डिफ़ॉल्ट, क्लोन और शैली-नियंत्रित नमूने सुनें, फिर संदर्भ ऑडियो और उसके सटीक ट्रांसक्रिप्ट के साथ क्लोनिंग आज़माएँ।

ऑडियो नमूने · CLI से आवाज़ क्लोन करें · समर्थित भाषाएँ · पाँच भाषाओं में वॉइस क्लोनिंग की पूरी तुलना और विधि

ऑडियो सैंपल

मौजूदा डिफ़ॉल्ट आवाज़, Kokoro af_heart से बनाया क्लोन और शैली-नियंत्रित उदाहरण सुनें। नीचे का CLI उदाहरण अलग FLEURS संदर्भ इस्तेमाल करता है।

CLI से आवाज़ क्लोन करें

संदर्भ ऑडियो को reference.wav के रूप में डाउनलोड करें। कमांड में उसका सटीक ट्रांसक्रिप्ट है। अपना नमूना इस्तेमाल करते समय रिकॉर्डिंग और ट्रांसक्रिप्ट दोनों बदलें।

speech speak "Hello from the cloned voice." \
    --engine cosyvoice \
    --cosyvoice-variant bf16 \
    --voice-sample reference.wav \
    --cosy-reference-transcript "One can only wonder what the keyboard will become when something newer comes along." \
    --seed 42 \
    --output clone.wav

CosyVoice 3 बनाम 3.5 उपलब्धता

समर्थित भाषाएँ

पाइपलाइन

CosyVoice3 तीन चरणों में स्पीच सिंथेसाइज़ करता है:

1. LLM — Qwen2.5-0.5B बैकबोन टेक्स्ट से FSQ (Finite Scalar Quantization) स्पीच टोकन जेनरेट करता है
2. DiT Flow Matching — एक 22-लेयर Diffusion Transformer Euler ODE इंटीग्रेशन के माध्यम से स्पीच टोकन को mel spectrograms में बदलता है
3. HiFi-GAN — Neural Source Filter vocoder mel spectrograms को 24 kHz वेवफ़ॉर्म में बदलता है

आर्किटेक्चर

LLM (Qwen2.5-0.5B)

वर्तमान रनटाइम bf16 (डिफ़ॉल्ट), 8bit और 8bit-full का समर्थन करता है। --cosyvoice-variant से बंडल चुनें। भाषा मॉडल ऑटोरिग्रेसिव तरीके से अलग-अलग स्पीच टोकन बनाता है।

DiT Flow Matching

Diffusion Transformer classifier-free guidance के साथ conditional flow matching का उपयोग करके स्पीच टोकन को mel spectrograms में परिष्कृत करता है।

HiFi-GAN Vocoder

एक Neural Source Filter (NSF) vocoder जो mel spectrograms को वेवफ़ॉर्म में बदलता है।

मॉडल वेट

हर बंडल में LLM, DiT फ़्लो-मैचिंग डिकोडर, HiFi-GAN वोकोडर, और zero-shot वॉइस क्लोनिंग के लिए ज़रूरी S3-Tokenizer रेफरेंस एनकोडर शामिल हैं। छोटे डाउनलोड/डिस्क के लिए छोटे बंडल चुनें; जब LLM/DiT क्वांटिज़ेशन नॉइज़ समस्या बने (लॉन्ग-फ़ॉर्म सिंथेसिस, वॉइस क्लोनिंग फ़िडेलिटी) तो bf16 चुनें।

CLI उपयोग

.build/release/speech speak "Hallo Welt" --engine cosyvoice --language german -o output.wav

उदाहरण

# अंग्रेज़ी
.build/release/speech speak "Hello, how are you?" --engine cosyvoice -o hello_en.wav

# चीनी
.build/release/speech speak "你好世界" --engine cosyvoice --language chinese -o hello_cn.wav

# स्पेनिश
.build/release/speech speak "Hola, buenos días" --engine cosyvoice --language spanish -o hello_es.wav

# फ़्रेंच
.build/release/speech speak "Bonjour le monde" --engine cosyvoice --language french -o hello_fr.wav

वॉयस क्लोनिंग

--voice-sample फ़्लैग का उपयोग करके एक छोटे संदर्भ ऑडियो सैंपल से किसी भी वॉयस को क्लोन करें। CosyVoice3 एक 192-dim एम्बेडिंग निकालने के लिए CAM++ स्पीकर encoder का उपयोग करता है जो DiT flow मॉडल को conditioning करता है।

# वॉयस क्लोनिंग
.build/release/speech speak "Hello in your voice" --engine cosyvoice --voice-sample reference.wav --cosy-reference-transcript "One can only wonder what the keyboard will become when something newer comes along." -o cloned.wav

# क्रॉस-लैंग्वेज: वॉयस क्लोन करें, जर्मन में बोलें
.build/release/speech speak "Guten Tag" --engine cosyvoice --voice-sample reference.wav --cosy-reference-transcript "One can only wonder what the keyboard will become when something newer comes along." --language german -o german.wav

यह कैसे काम करता है

1. CAM++ स्पीकर encoder CoreML (Neural Engine) के माध्यम से संदर्भ ऑडियो से 192-dim एम्बेडिंग निकालता है
2. Affine projection (192 → 80) DiT flow matching decoder को लक्ष्य वॉयस पर conditioning करता है
3. HiFi-GAN vocoder स्पीकर-conditioned mel spectrogram को 24kHz ऑडियो में बदलता है

स्पीकर Encoder

CAM++ मॉडल --voice-sample के पहले उपयोग पर स्वचालित रूप से डाउनलोड होता है। संदर्भ ऑडियो टिप्स और Swift API के लिए वॉयस क्लोनिंग गाइड देखें।

मल्टी-स्पीकर डायलॉग

इनलाइन स्पीकर टैग का उपयोग करके कई स्पीकरों के बीच वार्तालाप सिंथेसाइज़ करें। प्रत्येक स्पीकर को --speakers फ़्लैग के माध्यम से एक संदर्भ ऑडियो फ़ाइल से एक वॉयस सौंपी जाती है।

# वॉयस क्लोनिंग के साथ दो-स्पीकर डायलॉग
.build/release/speech speak "[S1] Hello there! [S2] Hey, how are you?" \
    --engine cosyvoice --speakers s1=alice.wav,s2=bob.wav -o dialogue.wav

# तीन स्पीकर
.build/release/speech speak "[A] Welcome. [B] Thanks! [C] Glad to be here." \
    --engine cosyvoice --speakers a=host.wav,b=guest1.wav,c=guest2.wav -o panel.wav

टैग में स्पीकर नाम केस-असंवेदनशील हैं और मैपिंग की से मिलाए जाते हैं। टर्न के बीच एक कॉन्फ़िगर करने योग्य silence gap (डिफ़ॉल्ट 0.2s) डाला जाता है।

इमोशन और स्टाइल टैग

इनलाइन इमोशन टैग का उपयोग करके प्रति सेगमेंट बोलने की स्टाइल नियंत्रित करें। CosyVoice3 <|endofprompt|> टोकन से पहले टेक्स्ट प्रीफ़िक्स को एक स्टाइल इंस्ट्रक्शन के रूप में उपयोग करता है — इमोशन टैग प्राकृतिक भाषा निर्देशों से मैप होते हैं जो इस प्रीफ़िक्स को प्रतिस्थापित करते हैं।

# इमोशन टैग
.build/release/speech speak "(excited) Wow, amazing! (sad) But I have to go..." \
    --engine cosyvoice -o emotion.wav

# स्पीकरों के साथ संयुक्त
.build/release/speech speak "[S1] (happy) Great news! [S2] (surprised) Really?" \
    --engine cosyvoice --speakers s1=alice.wav,s2=bob.wav -o combined.wav

# टैग के रूप में फ़्रीफ़ॉर्म निर्देश
.build/release/speech speak "(Speak like a pirate) Ahoy matey!" \
    --engine cosyvoice -o pirate.wav

# ग्लोबल निर्देश (बिना इमोशन टैग वाले सभी सेगमेंट पर लागू)
.build/release/speech speak "Hello world" \
    --engine cosyvoice --cosy-instruct "Speak cheerfully" -o cheerful.wav

बिल्ट-इन इमोशन टैग

अज्ञात टैग फ़्रीफ़ॉर्म निर्देशों के रूप में पास होते हैं, इसलिए (Speak in a slow, dramatic voice) जैसा काम करता है।

मॉडल नियंत्रण टोकन (fl_ टोकन)

आंतरिक रूप से, CosyVoice3 LLM fl_ उपसर्ग वाले विशेष नियंत्रण टोकन का उपयोग मोड (शून्य-शॉट क्लोनिंग, निर्देश संश्लेषण, स्पीकर सहेजना आदि) के बीच स्विच करने के लिए करता है। ये टोकन अपस्ट्रीम FunAudioLLM टोकनाइज़र का हिस्सा हैं; Soniqo रनटाइम आपके द्वारा उपयोग किए जाने वाले CLI फ्लैग या Swift API कॉल के आधार पर सही टोकन को स्वचालित रूप से उत्सर्जित करता है, इसलिए आपको उन्हें कभी हाथ से नहीं लिखना पड़ता।

सैंपलिंग

LLM चरण निम्नलिखित सैंपलिंग कॉन्फ़िगरेशन का उपयोग करता है:

Repetition Aware Sampling (RAS), VALL-E 2 से, उन टोकनों को दंडित करता है जो अंतिम 10 जेनरेट किए गए टोकनों में दिखाई दिए। यह दोहराए जाने वाले ऑडियो आर्टिफ़ैक्ट्स को रोकता है और आउटपुट स्थिरता में सुधार करता है।

प्रदर्शन

M2 Max पर, CosyVoice3 लगभग 0.5 का RTF प्राप्त करता है — रियल-टाइम से तेज़।