FireRedTTS3-Instruct

प्रयोगात्मक

नेटिव SDK समर्थन को main स्रोत से बिल्ड करें। Homebrew और अन्य प्रीबिल्ट CLI रिलीज़ में ये इंजन अभी शामिल न भी हों।

सटीक स्क्रिप्ट और आवाज़ के निर्देश से मूल MLX में आवाज़ डिज़ाइन करें। 24 kHz मोनो PCM; संदर्भ रिकॉर्डिंग आवश्यक नहीं है।

FireRedTTS3-Instruct मॉडल और डिकोडर के Float32 भार रखता है। यह पूरा बफ़र किया ऑडियो लौटाता है: --stream छोड़ें। --language अंग्रेज़ी और चीनी उपनाम स्वीकार करता है। जनरेशन सीमा पर त्रुटि आती है, कटा ऑडियो सफल परिणाम नहीं माना जाता।

SDK का स्रोत से बिल्ड

कार्यान्वयन (PR #541): main

git clone --single-branch --branch main https://github.com/soniqo/speech-swift.git
cd speech-swift
make build

प्रकाशित MLX बंडल: aufklarer/FireRedTTS3-Instruct-MLX-fp32

कमांड लाइन

.build/release/speech speak "The weather is beautiful today." \
  --engine fireredtts3 \
  --fireredtts3-model-id aufklarer/FireRedTTS3-Instruct-MLX-fp32 \
  --instruct "A calm adult female voice, speaking warmly and clearly." \
  --seed 2 --output firered.wav

एक टेक्स्ट तर्क, --instruct और बंडल निर्देशिका या संगत मॉडल ID में से ठीक एक दें। संदर्भ ऑडियो, तय वक्ता और बैच इनपुट समर्थित नहीं हैं।

पाठ और निर्देश के हर फ़ील्ड की सीमा 32,768 UTF-8 बाइट है। टेम्पलेट समेत पूरा रेंडर किया गया इनपुट प्रॉम्प्ट 4,096 टोकन के भीतर होना चाहिए। किसी भी सीमा से बड़े इनपुट अस्वीकार किए जाते हैं।

निर्देश आधारित TTS विकल्प

Swift API

import FireRedTTS3TTS

let model = try await FireRedTTS3Model.fromPretrained(
    modelId: "aufklarer/FireRedTTS3-Instruct-MLX-fp32")
let output = try await model.generateWithPlan(
    text: "The weather is beautiful today.",
    instruction: "A calm adult female voice, speaking warmly.")
let pcm = output.samples
model.unload()

छोटे पाठ के रनटाइम माप

M5 Pro, 48 GiB, Release। हर भाषा में एक छोटा तटस्थ पाठ; पहले अनुरोध के बाद तीन वार्म अनुरोधों का मध्यक। लोडिंग और वज़न सत्यापन शामिल नहीं हैं; फ़ाइल कैश गर्म थे। RTF = रनटाइम / ऑडियो अवधि; कम मान तेज़ है। भौतिक मेमोरी लोडिंग और चार अनुरोधों में प्रक्रिया का सर्वोच्च मान है, दशमलव GB में।

पाठ	ऑडियो (s)	वार्म पूरा PCM (s)	RTF	अधिकतम भौतिक मेमोरी (GB)
अंग्रेज़ी	2.72	4.499	1.654	10.819
मंदारिन	5.28	11.221	2.125	11.700

सत्यापन का दायरा

निर्देश पालन की गुणवत्ता अभी स्कोर नहीं हुई है। छोटे पाठ के माप केवल जाँचे गए सेटअप को दिखाते हैं; मौजूदा मॉडलों की विलंबता रिग्रेशन जाँच अनिर्णायक है।

मूल निर्देश आधारित TTS