Architektur

Natives anweisungsgesteuertes TTS

Die native SDK-Unterstützung aus dem main-Quellcode bauen. Homebrew und andere vorgefertigte CLI-Versionen enthalten diese Engines möglicherweise noch nicht.

Implementierung (PR #541): main

Veröffentlichte MLX-Bundles: aufklarer/FireRedTTS3-Instruct-MLX-fp32 · aufklarer/MOSS-VoiceGenerator-MLX-bf16

FireRedTTS3-Instruct — FireRedTTS3TTS: FireRedTTS3-Instruct behält Float32-Modell- und Decodergewichte. Audio wird vollständig gepuffert zurückgegeben: --stream weglassen. --language akzeptiert englische und chinesische Aliase. Ein Generierungslimit führt zu einem Fehler statt zu abgeschnittenem Erfolg.

MOSS-VoiceGenerator — MossVoiceGeneratorTTS: MOSS-VoiceGenerator behält BF16-Sprachgewichte und den FP32-Synthesecodec. --stream liefert inkrementelles PCM. --language weglassen und Sprachanforderungen in --instruct setzen. Vor Abschluss werden alle sechzehn Codebücher geleert.

Text und Anweisung sind jeweils auf 32.768 UTF-8-Bytes begrenzt. Der vollständig gerenderte Eingabeprompt einschließlich Vorlage darf 4.096 Tokens nicht überschreiten. Eingaben oberhalb einer dieser Grenzen werden abgewiesen.

Die Anweisungsbefolgung ist unbewertet. Kurztextmessungen beschreiben den getesteten Aufbau; die Latenz-Regressionsprüfung bestehender Modelle bleibt ohne eindeutiges Ergebnis.

speech speak "The quick brown fox jumps over the lazy dog." --engine breeze \
  --instruct "A clear, calm English narrator." --stream -o design.wav

speech-swift ist als modulares Swift-Paket organisiert mit gemeinsamen Protokollen, unabhängigen Modellmodulen und einer einheitlichen CLI. Die gesamte Inferenz läuft auf dem Gerät über MLX (Metal-GPU) oder CoreML (Neural Engine).

Modul-Abhängigkeitsgraph

                    ┌──────────┐
                    │ AudioCLI │  (Einstiegspunkt)
                    └────┬─────┘
                         │
                  ┌──────┴──────┐
                  │ AudioCLILib │  (Befehle)
                  └──────┬──────┘
                         │
       ┌─────────┬───────┼───────┬──────────┬──────────────┐
       │         │       │       │          │              │
  ┌────┴───┐ ┌──┴──┐ ┌──┴──┐ ┌─┴────┐ ┌───┴────┐ ┌──────┴───────┐
  │Qwen3ASR│ │Qwen3│ │Cosy │ │Perso-│ │Speech- │ │  Speech-     │
  │Parakeet│ │ TTS │ │Voice│ │naPlex│ │  VAD   │ │Enhancement   │
  └────┬───┘ └──┬──┘ └──┬──┘ └──┬───┘ └───┬───┘ └──────┬───────┘
       │        │       │       │         │             │
       └────────┴───────┼───────┴─────────┘             │
                        │                               │
                 ┌──────┴──────┐                        │
                 │ Qwen3Common │  (gemeinsame Schichten)│
                 └──────┬──────┘                        │
                        │                               │
                 ┌──────┴──────┐                        │
                 │ AudioCommon │ ◄──────────────────────┘
                 └─────────────┘  (Protokolle, Audio-I/O)

MOSS Transcribe Diarize

MossTranscribe liefert Segmente mit Sprecherzuordnung und Zeitstempeln über native CoreML- und MLX-Backends. CoreML nutzt für kurze Aufnahmen einen festen Zustand mit 1.024 Tokens. MLX verwendet einen dynamischen Kontext mit 131.072 Tokens, affine INT5/INT8-Decodergewichte und optionale FP16/INT8-KV-Caches. Beide Laufzeiten arbeiten offline und autoregressiv, nicht als Streaming-Modell.

VoiceChat 11B

Aufgabe und Referenz: Duplex-Speech-to-Speech; SALM-Duplex: Efficient and Direct Duplex Modeling for Speech-to-Speech Language Model (Interspeech 2025), zitiert in NVIDIAs Upstream-VoiceChat-Modellkarte.

Vollständige Laufzeit, M5 Pro 48 GB, Release, 80-ms-Live-Takt: INT5 mit geschützten Heads erreicht etwa 8.69 GB Peak-RSS; drei kontrollierte Gesamtpfad-RTF-Ergebnisse waren 0.96, 0.96 und 0.99. Die optimierte INT8-Leistung wurde noch nicht neu gemessen.

VoiceChat implementiert den vollständigen nativen MLX-Audio-zu-Audio-Pfad: kausale FastConformer-Wahrnehmung, Nemotron-H-Duplex-Text-/Funktionskanäle, einen eigenständigen textkonditionierten EAR-TTS-Decoder mit acht MaskGIT-Iterationen und einen neuronalen 22,05-kHz-Codec. Das Streaming hält begrenzte Attention- und kausale Faltungs-Caches pro Schicht; das stabile Acht-Frame-Live-Codec-Fenster nutzt einen kompilierten Graphen. Jeder 80-ms-Eingangsframe erzeugt eine Sprachentscheidung, 31 RVQ-Codes und genau 1.764 Ausgabesamples. Der Loader verlangt ein vollständiges encoder/ + llm/ + tts/-Bundle und lehnt ältere reine Verständnis-Exporte ab. INT5 hält auf dem getesteten M5 Pro nun den durchschnittlichen RTF unter 1, obwohl der p95-Spielraum pro Frame knapp bleibt.

Inferenz-Backends

Modell-Gewichtsformat

MLX-Modelle verwenden das Format safetensors mit 4-Bit- oder 8-Bit-Quantisierung (Gruppengröße 64). CoreML-Modelle verwenden das kompilierte Format .mlmodelc. Konvertierungsskripte in scripts/ konvertieren aus PyTorch-Checkpoints.

Cohere und Voxtral bieten zusätzlich affine MLX-INT5-Pakete. MLX unterstützt kein affines INT7; INT8 ist die unterstützte Option mit höherer Qualität.

Initialisierung von MLX-Modellen

QuantizedLinear.preQuantized erstellt mit Nullen belegte Platzhalter für quantisierte lineare Schichten, deren Gewichte aus einem Checkpoint geladen werden. Dadurch entfallen zufällige Gewichte und ihre temporären Quantisierungsgraphen. withThrowawayRandomState trennt die später verworfene Gleitkomma-Initialisierung von der Zufallsschlüsselkette des Aufrufers. Bei zusammengesetzten Modellen wird jede Komponente separat gekapselt: T5 und EnCodec in MAGNeT, T5Gemma und SAME-L in Stable Audio 3 sowie der Mimi-Codec in CSM. Die quantisierten Embeddings von CSM verwenden weiterhin den Upstream-Initialisierer und behalten dessen bekannte Einschränkung bei der Lebensdauer des Initialisierungsgraphen.

Leistungsoptimierungen

• MLX compile() — Kernel-Fusion für autoregressive Schleifen. Talker verwendet compile(shapeless: true), Code-Predictor verwendet compile(shapeless: false) mit festen Cache-Größen.
• Metal-Shader-Bibliothek — Vorab kompilierte metallib vermeidet ~5-fachen JIT-Kompilierungsoverhead. Erstellt über scripts/build_mlx_metallib.sh.
• Chunked Codec Decode — Der TTS-Decoder verarbeitet Audio in 25-Frame-Chunks mit 10-Frame-Kontextüberlappung, um GPU-Timeouts zu vermeiden.
• Batch-doppeltes CFG — CosyVoice3 DiT halbiert Flow-Matching-Durchläufe, indem es bedingte + unbedingte zusammen batcht.
• Fused RoPE — Verwendet MLXNN.RoPE auf Basis eines Metal-Kernels statt manueller Rotation.
• BN-Fusion — WeSpeaker-Batch-Normalisierung wird zur Konvertierungszeit in Conv2d-Gewichte fusioniert.

Audio-Verarbeitung

Alle Audio-I/O verwenden Float32-PCM. Internes Resampling übernimmt die Formatkonvertierung:

Quellstruktur

Sources/
  AudioCommon/            Gemeinsame Protokolle, Audio-I/O, Systemausgabe-
                          Erfassung (SystemAudioTap), HuggingFace-
                          Downloader, SentencePieceModel (Protobuf-Reader)
  MLXCommon/              MLX-Hilfsprogramme: Gewichtsladen, QuantizedLinear-Helfer,
                          SDPA-Multi-Head-Attention-Helfer, Metal-Budget
  Qwen3Common/            Gemeinsame Modellkomponenten (KV-Cache, RoPE, Quantisierung)
  Qwen3ASR/               Qwen3-ASR Sprache-zu-Text
  ParakeetASR/            Parakeet TDT Sprache-zu-Text (CoreML)
  ParakeetStreamingASR/   Parakeet EOU 120M Streaming-Diktat (CoreML)
  OmnilingualASR/         Meta wav2vec2 + CTC, 1.672 Sprachen
                          (CoreML 300M + MLX 300M / 1B / 3B / 7B)
  CohereTranscribeASR/  Cohere Transcribe 2B speech-to-text (MLX)
  VoxtralASR/            Voxtral Mini 3B speech-to-text (MLX)
  Qwen3TTS/               Qwen3-TTS Text-zu-Sprache
  FireRedTTS3TTS/         FireRedTTS3-Instruct (MLX, Float32)
  MossVoiceGeneratorTTS/  MOSS-VoiceGenerator (MLX, BF16 + FP32)
  CosyVoiceTTS/           CosyVoice3 Text-zu-Sprache
  KokoroTTS/              Kokoro-82M Text-zu-Sprache (CoreML)
  Qwen3Chat/              Qwen3.5-0.8B LLM-Chat auf dem Gerät (MLX + CoreML)
  PersonaPlex/            PersonaPlex Sprache-zu-Sprache
  SpeechVAD/              VAD (Silero + Pyannote), Diarisierung, Sprechereinbettungen
  SpeechLanguageID/       Identifikation der gesprochenen Sprache (SpeechBrain ECAPA, MLX + CoreML, 107 Labels)
  SpeechEnhancement/      DeepFilterNet3 Rauschunterdrückung (CoreML)
  SourceSeparation/       Open-Unmix HQ / UMX-L + HTDemucs (Demucs v4) music source separation (MLX, 4 stems)
  MAGNeTMusicGen/         MAGNeT text-to-music generation (MLX, 30 s @ 32 kHz, INT4/INT8)
  VoxCPM2TTS/             VoxCPM2 text-to-speech (MLX, 48 kHz, voice cloning + voice design)
  IndexTTS2TTS/           IndexTTS2 voice cloning (MLX, semantic GPT + emotion/tempo/pause control + S2Mel + BigVGAN)
  VibeVoiceTTS/           VibeVoice long-form / multi-speaker TTS (MLX, EN/ZH)
  MADLADTranslation/      MADLAD-400 many-to-many translation (MLX, 400+ languages)
  GLiNER/                 GLiNER2.5-Decide classification + entity spans (MLX, INT8/FP16/FP32)
  AudioCLILib/            CLI-Befehlsimplementierungen
  AudioCLI/               CLI-Einstiegspunkt

scripts/              Modellkonvertierung (PyTorch → MLX/CoreML), Benchmarking
Tests/                Unit- und Integrationstests
Examples/             Demo-Apps (PersonaPlexDemo, SpeechDemo)

GLiNER2.5-Decide: native MLX-Klassifikation und Entitäten-Spans (Gewichte in INT8, FP16 oder FP32); zur Inferenz wird kein Python benötigt.

⚠ Translation out of date — English guide. The new Clef section below awaits translation.

Clef-flash: development preview of local text decisions (9B, affine 4-bit MLX), with a joint schema head and a separate output-embedding prior.