Mimari

Yerel talimatlı TTS

Yerel SDK desteğini main kaynak kodundan derleyin. Homebrew ve diğer hazır CLI sürümleri bu motorları henüz içermeyebilir.

Uygulama (PR #541): main

Yayımlanmış MLX paketleri: aufklarer/FireRedTTS3-Instruct-MLX-fp32 · aufklarer/MOSS-VoiceGenerator-MLX-bf16

FireRedTTS3-Instruct — FireRedTTS3TTS: FireRedTTS3-Instruct model ve çözücü ağırlıklarını Float32 olarak korur. Sesi tamamen tamponlanmış döndürür: --stream kullanmayın. --language İngilizce ve Çince adlarını kabul eder. Üretim sınırına ulaşmak kesilmiş başarı yerine hata verir.

MOSS-VoiceGenerator — MossVoiceGeneratorTTS: MOSS-VoiceGenerator BF16 dil ağırlıklarını ve FP32 sentez kodeğini korur. Artımlı PCM için --stream kullanın. --language seçeneğini atlayıp dil gereksinimini --instruct içine yazın. Bitişte on altı kod kitabının tamamı boşaltılır.

Metin ve talimat alanlarının her biri 32.768 UTF-8 baytla sınırlıdır. Şablon dahil oluşturulmuş giriş isteminin tamamı 4.096 token içine sığmalıdır. Herhangi bir sınırı aşan girişler reddedilir.

Talimat izleme kalitesi henüz puanlanmadı. Kısa metin ölçümleri test edilen kurulumu gösterir; mevcut modellerin gecikme regresyonu doğrulaması sonuçsuzdur.

speech speak "The quick brown fox jumps over the lazy dog." --engine breeze \
  --instruct "A clear, calm English narrator." --stream -o design.wav

speech-swift, ortak protokoller, bağımsız model modülleri ve birleşik bir CLI ile modüler bir Swift paketi olarak düzenlenmiştir. Tüm çıkarım MLX (Metal GPU) veya CoreML (Neural Engine) kullanılarak cihaz üstünde çalışır.

Modül bağımlılık grafiği

                    ┌──────────┐
                    │ AudioCLI │  (giriş noktası)
                    └────┬─────┘
                         │
                  ┌──────┴──────┐
                  │ AudioCLILib │  (komutlar)
                  └──────┬──────┘
                         │
       ┌─────────┬───────┼───────┬──────────┬──────────────┐
       │         │       │       │          │              │
  ┌────┴───┐ ┌──┴──┐ ┌──┴──┐ ┌─┴────┐ ┌───┴────┐ ┌──────┴───────┐
  │Qwen3ASR│ │Qwen3│ │Cosy │ │Perso-│ │Speech- │ │  Speech-     │
  │Parakeet│ │ TTS │ │Voice│ │naPlex│ │  VAD   │ │Enhancement   │
  └────┬───┘ └──┬──┘ └──┬──┘ └──┬───┘ └───┬───┘ └──────┬───────┘
       │        │       │       │         │             │
       └────────┴───────┼───────┴─────────┘             │
                        │                               │
                 ┌──────┴──────┐                        │
                 │ Qwen3Common │  (paylaşılan katmanlar)│
                 └──────┬──────┘                        │
                        │                               │
                 ┌──────┴──────┐                        │
                 │ AudioCommon │ ◄──────────────────────┘
                 └─────────────┘  (protokoller, ses G/Ç)

MOSS Transcribe Diarize

MossTranscribe, yerel CoreML ve MLX backendleriyle konuşmacı etiketli zaman damgası bölümleri döndürür. CoreML kısa kayıtlar için sabit 1.024-token durum kullanır. MLX dinamik 131.072-token bağlam, affine INT5/INT8 decoder ağırlıkları ve isteğe bağlı FP16/INT8 KV önbellekleri kullanır. İkisi de streaming değil, çevrimdışı otoregresif runtimelardır.

VoiceChat 11B

Görev ve referans: duplex speech-to-speech; SALM-Duplex: Efficient and Direct Duplex Modeling for Speech-to-Speech Language Model (Interspeech 2025), NVIDIA'nın upstream VoiceChat model kartında atıf yapılır.

Tam runtime, M5 Pro 48 GB, Release, 80 ms canlı ritim: korumalı head INT5 tepe RSS'si yaklaşık 8.69 GB'dir; üç kontrollü tüm-pipeline RTF sonucu 0.96, 0.96 ve 0.99'dur. Optimize INT8 performansı henüz yeniden ölçülmedi.

VoiceChat eksiksiz native MLX sesten-sese yolunu uygular: nedensel FastConformer algı, Nemotron-H duplex metin/işlev kanalları, sekiz MaskGIT iterasyonlu bağımsız metin koşullu EAR-TTS decoder ve 22,05 kHz nöral codec. Streaming, katman başına sınırlı attention ve nedensel convolution cache'lerini tutarken kararlı sekiz-frame canlı codec penceresi derlenmiş graph kullanır. Her 80 ms giriş frame'i bir dil kararı, 31 RVQ kodu ve tam 1.764 çıkış örneği üretir. Loader eksiksiz encoder/ + llm/ + tts/ bundle ister ve eski yalnızca-anlama export'larını reddeder. INT5 artık test edilen M5 Pro'da ortalama RTF'yi 1'in altında tutar, ancak frame başına p95 payı hâlâ dardır.

Çıkarım backend'leri

Model ağırlık formatı

MLX modelleri safetensors formatını 4-bit veya 8-bit nicemleme (grup boyutu 64) ile kullanır. CoreML modelleri derlenmiş .mlmodelc formatını kullanır. scripts/ dizinindeki dönüştürme komut dosyaları PyTorch checkpoint'lerinden dönüşüm yapar.

Cohere ve Voxtral ayrıca MLX affine INT5 paketleri sunar. MLX affine INT7 desteklemez; desteklenen daha yüksek kaliteli seçenek INT8'dir.

MLX modellerinin başlatılması

QuantizedLinear.preQuantized, ağırlıkları kontrol noktasından yüklenen nicemlenmiş doğrusal katmanlar için sıfırlarla dolu geçici diziler oluşturur; rastgele ağırlıkların ve bunların geçici nicemleme grafiklerinin oluşturulmasını önler. withThrowawayRandomState, daha sonra atılacak kayan noktalı başlatma işlemini çağıranın rastgele anahtar zincirinden ayırır. Bileşik model yükleyicileri her bileşeni ayrı kapsamda tutar: MAGNeT için T5 ve EnCodec, Stable Audio 3 için T5Gemma ve SAME-L, CSM için Mimi kodeği. CSM’nin nicemlenmiş gömmeleri hâlâ üst kaynak başlatıcısını kullanır ve başlatma grafiğinin ömrüyle ilgili bilinen sınırlamayı korur.

Performans optimizasyonları

• MLX compile() — Otoregresif döngüler için çekirdek füzyonu. Talker compile(shapeless: true), Code Predictor sabit önbellek boyutlarıyla compile(shapeless: false) kullanır.
• Metal shader kütüphanesi — Önceden derlenmiş metallib, ~5x JIT derleme yükünden kaçınır. scripts/build_mlx_metallib.sh ile derlenir.
• Parçalanmış codec çözümü — TTS decoder, GPU zaman aşımını önlemek için konuşmayı 10 frame bağlam örtüşmesiyle 25 frame'lik parçalar halinde işler.
• Batch çiftli CFG — CosyVoice3 DiT, koşullu + koşulsuzu birlikte batch'leyerek flow matching geçişlerini yarıya indirir.
• Birleştirilmiş RoPE — Manuel döndürme yerine Metal çekirdeği destekli MLXNN.RoPE kullanır.
• BN füzyonu — WeSpeaker batch normalizasyonu, dönüştürme sırasında Conv2d ağırlıklarına birleştirilir.

Ses işleme

Tüm ses G/Ç'si Float32 PCM kullanır. Dahili yeniden örnekleme, format dönüşümünü ele alır:

Kaynak yapısı

Sources/
  AudioCommon/            Ortak protokoller, ses G/Ç, sistem çıkışı yakalama
                          (SystemAudioTap), HuggingFace indirici,
                          SentencePieceModel (protobuf okuyucu)
  MLXCommon/              MLX yardımcıları: ağırlık yükleme, QuantizedLinear yardımcıları,
                          SDPA çok başlı dikkat yardımcısı, metal bütçesi
  Qwen3Common/            Paylaşılan model bileşenleri (KV önbelleği, RoPE, nicemleme)
  Qwen3ASR/               Qwen3-ASR konuşmadan metne
  ParakeetASR/            Parakeet TDT konuşmadan metne (CoreML)
  ParakeetStreamingASR/   Parakeet EOU 120M streaming dikte (CoreML)
  OmnilingualASR/         Meta wav2vec2 + CTC, 1.672 dil
                          (CoreML 300M + MLX 300M / 1B / 3B / 7B)
  CohereTranscribeASR/  Cohere Transcribe 2B speech-to-text (MLX)
  VoxtralASR/            Voxtral Mini 3B speech-to-text (MLX)
  Qwen3TTS/               Qwen3-TTS metinden konuşmaya
  FireRedTTS3TTS/         FireRedTTS3-Instruct (MLX, Float32)
  MossVoiceGeneratorTTS/  MOSS-VoiceGenerator (MLX, BF16 + FP32)
  CosyVoiceTTS/           CosyVoice3 metinden konuşmaya
  KokoroTTS/              Kokoro-82M metinden konuşmaya (CoreML)
  Qwen3Chat/              Qwen3.5-0.8B cihaz üstü LLM sohbet (MLX + CoreML)
  PersonaPlex/            PersonaPlex konuşmadan konuşmaya
  SpeechVAD/              VAD (Silero + Pyannote), konuşmacı ayrıştırma, konuşmacı gömmeleri
  SpeechLanguageID/       Konuşulan dil tanımlama (SpeechBrain ECAPA, MLX + CoreML, 107 etiket)
  SpeechEnhancement/      DeepFilterNet3 gürültü bastırma (CoreML)
  SourceSeparation/       Open-Unmix HQ / UMX-L + HTDemucs (Demucs v4) music source separation (MLX, 4 stems)
  MAGNeTMusicGen/         MAGNeT text-to-music generation (MLX, 30 s @ 32 kHz, INT4/INT8)
  VoxCPM2TTS/             VoxCPM2 text-to-speech (MLX, 48 kHz, voice cloning + voice design)
  IndexTTS2TTS/           IndexTTS2 voice cloning (MLX, semantic GPT + emotion/tempo/pause control + S2Mel + BigVGAN)
  VibeVoiceTTS/           VibeVoice long-form / multi-speaker TTS (MLX, EN/ZH)
  MagpieTTS/              NVIDIA Magpie-TTS Multilingual 357M (MLX INT4/INT8,
                          9 languages, 5 baked speakers, streaming)
  MagpieTTSCoreML/        Magpie CoreML backend (4 .mlmodelc + Swift-side
                          FSQ inverse; 8 languages, batch-only; hybrid
                          with MagpieTTS for LocalTransformer + audio
                          embeddings)
  MADLADTranslation/      MADLAD-400 many-to-many translation (MLX, 400+ languages)
  GLiNER/                 GLiNER2.5-Decide classification + entity spans (MLX, INT8/FP16/FP32)
  AudioCLILib/            CLI komut uygulamaları
  AudioCLI/               CLI giriş noktası

scripts/              Model dönüşümü (PyTorch → MLX/CoreML), kıyaslama
Tests/                Birim ve entegrasyon testleri
Examples/             Demo uygulamalar (PersonaPlexDemo, SpeechDemo)

GLiNER2.5-Decide: yerel MLX sınıflandırma ve varlık aralıkları (INT8, FP16 veya FP32 ağırlıklar); çıkarım sırasında Python gerekmez.

⚠ Translation out of date — English guide. The new Clef section below awaits translation.

Clef-flash: development preview of local text decisions (9B, affine 4-bit MLX), with a joint schema head and a separate output-embedding prior.