FireRedTTS3-Instruct

Experimentell

Die native SDK-Unterstützung aus dem main-Quellcode bauen. Homebrew und andere vorgefertigte CLI-Versionen enthalten diese Engines möglicherweise noch nicht.

Natives MLX-Stimmdesign aus unverändertem Sprechtext und einer Stimmanweisung. Mono-PCM mit 24 kHz; keine Referenzaufnahme erforderlich.

FireRedTTS3-Instruct behält Float32-Modell- und Decodergewichte. Audio wird vollständig gepuffert zurückgegeben: --stream weglassen. --language akzeptiert englische und chinesische Aliase. Ein Generierungslimit führt zu einem Fehler statt zu abgeschnittenem Erfolg.

SDK aus Quellcode bauen

Implementierung (PR #541): main

git clone --single-branch --branch main https://github.com/soniqo/speech-swift.git
cd speech-swift
make build

Veröffentlichte MLX-Bundles: aufklarer/FireRedTTS3-Instruct-MLX-fp32

Befehlszeile

.build/release/speech speak "The weather is beautiful today." \
  --engine fireredtts3 \
  --fireredtts3-model-id aufklarer/FireRedTTS3-Instruct-MLX-fp32 \
  --instruct "A calm adult female voice, speaking warmly and clearly." \
  --seed 2 --output firered.wav

Ein Textargument, --instruct und genau ein Bundle-Verzeichnis oder eine kompatible Modell-ID sind erforderlich. Referenzaudio, feste Sprecher und Batch-Eingaben werden nicht unterstützt.

Text und Anweisung sind jeweils auf 32.768 UTF-8-Bytes begrenzt. Der vollständig gerenderte Eingabeprompt einschließlich Vorlage darf 4.096 Tokens nicht überschreiten. Eingaben oberhalb einer dieser Grenzen werden abgewiesen.

Optionen für anweisungsgesteuertes TTS

Swift-API

import FireRedTTS3TTS

let model = try await FireRedTTS3Model.fromPretrained(
    modelId: "aufklarer/FireRedTTS3-Instruct-MLX-fp32")
let output = try await model.generateWithPlan(
    text: "The weather is beautiful today.",
    instruction: "A calm adult female voice, speaking warmly.")
let pcm = output.samples
model.unload()

Laufzeitmessungen mit Kurztexten

M5 Pro, 48 GiB, Release. Ein kurzer neutraler Text pro Sprache; Median aus drei warmen Anfragen nach der ersten. Laden und Gewichtsprüfung sind ausgeschlossen; Dateisystem-Caches waren warm. RTF = Laufzeit / Audiodauer: kleiner ist schneller. Physischer Speicher ist der Prozesshöchstwert über das Laden und vier Anfragen in dezimalen GB.

TextAudio (s)Vollständiges PCM, warm (s)RTFMaximaler physischer Speicher (GB)
Englisch2.724.4991.65410.819
Mandarin5.2811.2212.12511.700

Validierungsumfang

Die Anweisungsbefolgung ist unbewertet. Kurztextmessungen beschreiben den getesteten Aufbau; die Latenz-Regressionsprüfung bestehender Modelle bleibt ohne eindeutiges Ergebnis.

Natives anweisungsgesteuertes TTS

Quellen