Qwen3-TTS

Qwen3-TTS ist ein 12-Hz-Codec-Sprachmodell mit Mimi-Decoder für hochwertige Sprachsynthese. Der Standard-MLX-Pfad nutzt jetzt das 1.7B Base bf16-Bundle; 8-bit-Bundles bleiben für kleinere Downloads verfügbar. int4 wurde wegen der TTS-Qualität eingestellt.

VoxCPM2 im Vergleich zu Qwen3-TTS · Stimmenvergleich in fünf Sprachen mit Messmethode.

Pipeline

Die Sprachsynthese folgt einer dreistufigen Pipeline:

1. Talker — 28-lagiger Transformer, der Eingabetext in First-Codebook-Tokens mit 12,5 Hz umwandelt
2. Code Predictor — 5-lagiger Transformer, der die verbleibenden 15 Codebooks aus den Hidden States des ersten Codebooks vorhersagt
3. Mimi-Codec-Decoder — Wandelt alle 16 Codebook-Tokens in eine 24-kHz-Audiowellenform um

Architektur

Talker

Der Talker ist das zentrale autoregressive Modell, das aus Texteingaben Codec-Tokens erzeugt.

Code Predictor

Ein leichtgewichtiger 5-lagiger Transformer, der die Hidden States des ersten Codebooks nimmt und die verbleibenden 15 Codebooks parallel vorhersagt. Das vermeidet, den vollen Talker pro Schritt 16 Mal auszuführen.

Mimi-Codec-Decoder

Der Mimi-Decoder wandelt quantisierte Codec-Tokens zurück in Audio:

1. RVQ-Decode (16 Codebooks)
2. Pre-Convolution (512 auf 1024 Kanäle)
3. Pre-Transformer (1024 auf 512 Bottleneck, 8 Schichten, SwiGLU + LayerScale)
4. Upsampling (2x, 2x)
5. SEANet-Decoder (Upsample-Stufen 8x, 5x, 4x, 3x)
6. 24-kHz-Wellenform-Ausgabe

Modellvarianten

CoreML-Backend

CoreML führt sechs kompilierte Komponenten aus. Das Rechengerät hängt vom gewählten Bundle ab.

1. TextProjector — Projiziert Text-Token-Embeddings in den gemeinsamen Hidden-Raum
2. CodeEmbedder — Bettet First-Codebook-Tokens und Kontroll-Tokens ein
3. MultiCodeEmbedder — Bettet Tokens aus den Codebooks 1–15 ein
4. CodeDecoder — 28-lagiger autoregressiver Transformer mit zustandslosem KV-Cache (max. 256 Positionen)
5. MultiCodeDecoder — 5-lagiger Code-Predictor für Codebooks 1–15
6. SpeechDecoder — Mimi-Codec-Decoder, wandelt 16 Codebook-Tokens in 24-kHz-Audio um

# CoreML synthesis
.build/release/speech speak "Hello, world!" --engine coreml -o hello.wav

# CoreML uses temperature 0.8 by default (required for quality output)
.build/release/speech speak "Long text here." --engine coreml --temperature 0.9 -o out.wav

speech qwen3-tts-coreml "Hello world" \
  --model aufklarer/Qwen3-TTS-1.7B-CoreML \
  --speaker-embedding speaker-17b.npy --output hello-17b.wav

CLI-Verwendung

Sprache aus Text erzeugen:

.build/release/speech speak "Hello, world!" --output hello.wav

Optionen

Beispiele

# Basic synthesis
.build/release/speech speak "The quick brown fox." -o fox.wav

# Streaming output
.build/release/speech speak "Long passage of text..." --stream -o stream.wav

# Batch synthesis from file
.build/release/speech speak --batch-file sentences.txt --batch-size 4 -o output_dir/

Streaming

Der Schalter --stream aktiviert die gestückelte Audio-Ausgabe während der Erzeugung. Statt auf den Abschluss der kompletten Äußerung zu warten, wird Audio als Chunks ausgegeben, während Tokens produziert werden. Verwende --first-chunk-frames und --chunk-frames, um die Chunk-Größe zu steuern.

Stapelmodus

Zum Synthetisieren mehrerer Äußerungen verwende --batch-file mit einer Textdatei, die eine Äußerung pro Zeile enthält. Der Schalter --batch-size steuert, wie viele Äußerungen parallel verarbeitet werden.

Leistung

Auf einem M2 Max erreicht Qwen3-TTS einen RTF (Echtzeitfaktor) von ungefähr 0,55, d. h. es erzeugt Sprache schneller als Echtzeit. Mit compile()-Aufwärmen dauert jeder Schritt etwa 37 ms.

Sprachen

Qwen3-TTS unterstützt mehrsprachige Sprachsynthese. Das Modell erkennt automatisch die Eingabesprache und erzeugt entsprechend Sprache.

Swift-API

import Qwen3TTS
import AudioCommon

let model = try await Qwen3TTSModel.fromPretrained()
let audio = model.synthesize(text: "Hello, world!", language: "english")
try WAVWriter.write(samples: audio, sampleRate: 24000, to: URL(filePath: "hello.wav"))

Rein lokale Bundles

Verwende fromLocal, wenn die App Beschaffung und Ablage des Modells selbst verwaltet. Die Verzeichnisse für das TTS-Hauptmodell und den Speech-Tokenizer werden getrennt übergeben. Der Aufruf löst keinen Cache auf, kontaktiert kein Netzwerk und liest vor der MLX-Modulzuweisung die config.json des Haupt-Bundles.

let model = try Qwen3TTSModel.fromLocal(
    modelDirectory: ttsDirectory,
    tokenizerDirectory: speechTokenizerDirectory
)

Diagnose

Qwen3-TTS sendet Diagnosemeldungen zum Modellladen und zur Inferenz an AudioLog.modelLoading und AudioLog.inference statt an stdout oder stderr. Anzahlen, Formen und Zeitwerte bleiben sichtbar; vom Aufrufer angegebene Sprach- und Sprecherwerte bleiben privat und Eingabetext wird nie protokolliert.