FireRedTTS3-Instruct

Deneysel

Yerel SDK desteğini main kaynak kodundan derleyin. Homebrew ve diğer hazır CLI sürümleri bu motorları henüz içermeyebilir.

Tam metin ve ses talimatından yerel MLX ile ses tasarımı. Referans kaydı gerekmeden 24 kHz mono PCM üretir.

FireRedTTS3-Instruct model ve çözücü ağırlıklarını Float32 olarak korur. Sesi tamamen tamponlanmış döndürür: --stream kullanmayın. --language İngilizce ve Çince adlarını kabul eder. Üretim sınırına ulaşmak kesilmiş başarı yerine hata verir.

SDK kaynak derlemesi

Uygulama (PR #541): main

git clone --single-branch --branch main https://github.com/soniqo/speech-swift.git
cd speech-swift
make build

Yayımlanmış MLX paketleri: aufklarer/FireRedTTS3-Instruct-MLX-fp32

Komut satırı

.build/release/speech speak "The weather is beautiful today." \
  --engine fireredtts3 \
  --fireredtts3-model-id aufklarer/FireRedTTS3-Instruct-MLX-fp32 \
  --instruct "A calm adult female voice, speaking warmly and clearly." \
  --seed 2 --output firered.wav

Bir metin, --instruct ve tam olarak bir paket dizini ya da uyumlu model kimliği verin. Referans ses, sabit konuşmacılar ve toplu giriş desteklenmez.

Metin ve talimat alanlarının her biri 32.768 UTF-8 baytla sınırlıdır. Şablon dahil oluşturulmuş giriş isteminin tamamı 4.096 token içine sığmalıdır. Herhangi bir sınırı aşan girişler reddedilir.

Talimatlı TTS seçenekleri

Swift API

import FireRedTTS3TTS

let model = try await FireRedTTS3Model.fromPretrained(
    modelId: "aufklarer/FireRedTTS3-Instruct-MLX-fp32")
let output = try await model.generateWithPlan(
    text: "The weather is beautiful today.",
    instruction: "A calm adult female voice, speaking warmly.")
let pcm = output.samples
model.unload()

Kısa metin çalışma ölçümleri

M5 Pro, 48 GiB, Release. Dil başına kısa ve nötr bir metin; ilk istekten sonraki üç sıcak isteğin medyanı. Yükleme ve ağırlık doğrulaması hariçtir; dosya önbelleği sıcaktı. RTF = çalışma süresi / ses süresi; düşük değer daha hızlıdır. Fiziksel bellek, yükleme ve dört istekteki süreç tepe değeridir; ondalık GB cinsindendir.

MetinSes (s)Sıcak tam PCM (s)RTFEn yüksek fiziksel bellek (GB)
İngilizce2.724.4991.65410.819
Mandarin5.2811.2212.12511.700

Doğrulama kapsamı

Talimat izleme kalitesi henüz puanlanmadı. Kısa metin ölçümleri test edilen kurulumu gösterir; mevcut modellerin gecikme regresyonu doğrulaması sonuçsuzdur.

Yerel talimatlı TTS

Kaynaklar