Kiến trúc

TTS thuần theo chỉ dẫn

Biên dịch SDK native từ mã nguồn main. Homebrew và các bản CLI dựng sẵn khác có thể chưa bao gồm những engine này.

Triển khai (PR #541): main

Gói MLX đã công bố: aufklarer/FireRedTTS3-Instruct-MLX-fp32 · aufklarer/MOSS-VoiceGenerator-MLX-bf16

FireRedTTS3-Instruct — FireRedTTS3TTS: FireRedTTS3-Instruct giữ trọng số Float32 của mô hình và bộ giải mã. Âm thanh được trả trọn vẹn từ bộ đệm: bỏ --stream. --language chấp nhận bí danh tiếng Anh và tiếng Trung. Chạm giới hạn sẽ báo lỗi, không coi âm thanh bị cắt là thành công.

MOSS-VoiceGenerator — MossVoiceGeneratorTTS: MOSS-VoiceGenerator giữ trọng số ngôn ngữ BF16 và codec tổng hợp FP32. Dùng --stream để nhận PCM từng phần. Bỏ --language và đặt yêu cầu ngôn ngữ trong --instruct. Kết thúc sẽ xuất đủ cả mười sáu bảng mã.

Mỗi trường văn bản và chỉ dẫn được giới hạn ở 32.768 byte UTF-8. Toàn bộ prompt đầu vào sau khi dựng, gồm cả mẫu, phải nằm trong 4.096 token. Đầu vào vượt một trong hai giới hạn sẽ bị từ chối.

Chất lượng làm theo chỉ dẫn chưa được chấm điểm. Số đo văn bản ngắn chỉ mô tả cấu hình đã thử; kiểm chứng hồi quy độ trễ vẫn chưa có kết luận.

speech speak "The quick brown fox jumps over the lazy dog." --engine breeze \
  --instruct "A clear, calm English narrator." --stream -o design.wav

speech-swift được tổ chức như một gói Swift module hóa với các giao thức chung, các module mô hình độc lập và một CLI thống nhất. Tất cả suy luận chạy trên thiết bị bằng MLX (GPU Metal) hoặc CoreML (Neural Engine).

Đồ thị phụ thuộc module

                    ┌──────────┐
                    │ AudioCLI │  (điểm vào)
                    └────┬─────┘
                         │
                  ┌──────┴──────┐
                  │ AudioCLILib │  (các lệnh)
                  └──────┬──────┘
                         │
       ┌─────────┬───────┼───────┬──────────┬──────────────┐
       │         │       │       │          │              │
  ┌────┴───┐ ┌──┴──┐ ┌──┴──┐ ┌─┴────┐ ┌───┴────┐ ┌──────┴───────┐
  │Qwen3ASR│ │Qwen3│ │Cosy │ │Perso-│ │Speech- │ │  Speech-     │
  │Parakeet│ │ TTS │ │Voice│ │naPlex│ │  VAD   │ │Enhancement   │
  └────┬───┘ └──┬──┘ └──┬──┘ └──┬───┘ └───┬───┘ └──────┬───────┘
       │        │       │       │         │             │
       └────────┴───────┼───────┴─────────┘             │
                        │                               │
                 ┌──────┴──────┐                        │
                 │ Qwen3Common │  (lớp dùng chung)      │
                 └──────┬──────┘                        │
                        │                               │
                 ┌──────┴──────┐                        │
                 │ AudioCommon │ ◄──────────────────────┘
                 └─────────────┘  (giao thức, I/O âm thanh)

MOSS Transcribe Diarize

MossTranscribe trả về các đoạn có người nói và mốc thời gian qua backend CoreML và MLX gốc. CoreML dùng trạng thái cố định 1.024 token cho bản ghi ngắn. MLX dùng ngữ cảnh động 131.072 token, trọng số decoder affine INT5/INT8 và bộ đệm KV FP16/INT8 tùy chọn. Cả hai đều là runtime tự hồi quy ngoại tuyến, không streaming.

VoiceChat 11B

Tác vụ và tài liệu: speech-to-speech duplex; SALM-Duplex: Efficient and Direct Duplex Modeling for Speech-to-Speech Language Model (Interspeech 2025), được model card VoiceChat upstream của NVIDIA trích dẫn.

Runtime đầy đủ, M5 Pro 48 GB, Release, nhịp live 80 ms: INT5 với head được bảo vệ có RSS đỉnh khoảng 8.69 GB; ba kết quả RTF toàn pipeline có kiểm soát là 0.96, 0.96 và 0.99. Hiệu năng INT8 sau tối ưu chưa được đo lại.

VoiceChat triển khai đường âm thanh-sang-âm thanh MLX native hoàn chỉnh: nhận thức FastConformer nhân quả, kênh văn bản/chức năng duplex Nemotron-H, decoder EAR-TTS độc lập điều kiện theo văn bản với tám vòng MaskGIT và neural codec 22,05 kHz. Streaming giữ cache attention và tích chập nhân quả giới hạn theo từng layer, còn cửa sổ codec live tám frame ổn định dùng graph đã compile. Mỗi frame đầu vào 80 ms tạo một quyết định ngôn ngữ, 31 mã RVQ và đúng 1.764 mẫu đầu ra. Loader yêu cầu bundle đầy đủ encoder/ + llm/ + tts/ và từ chối export cũ chỉ có phần hiểu. INT5 hiện duy trì RTF trung bình dưới 1 trên M5 Pro đã thử nghiệm, dù dư địa p95 theo frame vẫn hẹp.

Backend suy luận

Định dạng trọng số mô hình

Các mô hình MLX dùng định dạng safetensors với lượng tử hóa 4-bit hoặc 8-bit (kích thước nhóm 64). Các mô hình CoreML dùng định dạng đã biên dịch .mlmodelc. Các script chuyển đổi trong scripts/ chuyển đổi từ checkpoint PyTorch.

Cohere và Voxtral cũng có gói MLX INT5 affine. MLX không hỗ trợ INT7 affine; INT8 là lựa chọn chất lượng cao hơn được hỗ trợ.

Khởi tạo mô hình MLX

QuantizedLinear.preQuantized tạo các mảng giữ chỗ bằng không cho lớp tuyến tính lượng tử hóa được nạp từ checkpoint, tránh tạo trọng số ngẫu nhiên và đồ thị lượng tử hóa tạm thời. withThrowawayRandomState tách phần khởi tạo dấu phẩy động sẽ bị loại bỏ khỏi chuỗi khóa ngẫu nhiên của bên gọi. Bộ nạp mô hình tổng hợp cô lập từng thành phần: T5 và EnCodec của MAGNeT, T5Gemma và SAME-L của Stable Audio 3, cùng bộ mã hóa/giải mã Mimi của CSM. Các embedding lượng tử hóa của CSM vẫn dùng hàm khởi tạo từ thư viện gốc và vẫn có giới hạn đã biết về vòng đời đồ thị khởi tạo.

Tối ưu hóa hiệu năng

• MLX compile() — Hợp nhất kernel cho các vòng lặp tự hồi quy. Talker dùng compile(shapeless: true), Code Predictor dùng compile(shapeless: false) với kích thước cache cố định.
• Thư viện shader Metal — metallib biên dịch sẵn tránh chi phí biên dịch JIT ~5x. Được xây dựng qua scripts/build_mlx_metallib.sh.
• Giải mã codec theo chunk — Decoder TTS xử lý giọng nói trong các chunk 25 frame với chồng lấp ngữ cảnh 10 frame để tránh timeout GPU.
• CFG nhân đôi batch — DiT của CosyVoice3 giảm một nửa số lần flow matching bằng cách gộp conditional + unconditional vào cùng batch.
• RoPE hợp nhất — Dùng MLXNN.RoPE được hỗ trợ bởi kernel Metal thay vì xoay thủ công.
• Hợp nhất BN — Batch normalization của WeSpeaker được hợp nhất vào trọng số Conv2d tại thời điểm chuyển đổi.

Xử lý âm thanh

Tất cả I/O âm thanh dùng PCM Float32. Việc lấy mẫu lại nội bộ xử lý chuyển đổi định dạng:

Cấu trúc mã nguồn

Sources/
  AudioCommon/            Giao thức dùng chung, I/O âm thanh, thu đầu ra hệ
                          thống (SystemAudioTap), trình tải HuggingFace,
                          SentencePieceModel (bộ đọc protobuf)
  MLXCommon/              Tiện ích MLX: tải trọng số, helper QuantizedLinear,
                          helper attention đa đầu SDPA, ngân sách metal
  Qwen3Common/            Thành phần mô hình dùng chung (cache KV, RoPE, lượng tử hóa)
  Qwen3ASR/               Qwen3-ASR giọng nói thành văn bản
  ParakeetASR/            Parakeet TDT giọng nói thành văn bản (CoreML)
  ParakeetStreamingASR/   Parakeet EOU 120M chính tả streaming (CoreML)
  OmnilingualASR/         Meta wav2vec2 + CTC, 1.672 ngôn ngữ
                          (CoreML 300M + MLX 300M / 1B / 3B / 7B)
  CohereTranscribeASR/  Cohere Transcribe 2B speech-to-text (MLX)
  VoxtralASR/            Voxtral Mini 3B speech-to-text (MLX)
  Qwen3TTS/               Qwen3-TTS văn bản thành giọng nói
  FireRedTTS3TTS/         FireRedTTS3-Instruct (MLX, Float32)
  MossVoiceGeneratorTTS/  MOSS-VoiceGenerator (MLX, BF16 + FP32)
  CosyVoiceTTS/           CosyVoice3 văn bản thành giọng nói
  KokoroTTS/              Kokoro-82M văn bản thành giọng nói (CoreML)
  Qwen3Chat/              Qwen3.5-0.8B chat LLM trên thiết bị (MLX + CoreML)
  PersonaPlex/            PersonaPlex giọng nói thành giọng nói
  SpeechVAD/              VAD (Silero + Pyannote), phân tách người nói, embedding người nói
  SpeechLanguageID/       Nhận dạng ngôn ngữ nói (SpeechBrain ECAPA, MLX + CoreML, 107 nhãn)
  SpeechEnhancement/      Khử nhiễu DeepFilterNet3 (CoreML)
  SourceSeparation/       Open-Unmix HQ / UMX-L + HTDemucs (Demucs v4) music source separation (MLX, 4 stems)
  MAGNeTMusicGen/         MAGNeT text-to-music generation (MLX, 30 s @ 32 kHz, INT4/INT8)
  VoxCPM2TTS/             VoxCPM2 text-to-speech (MLX, 48 kHz, voice cloning + voice design)
  IndexTTS2TTS/           IndexTTS2 voice cloning (MLX, semantic GPT + emotion/tempo/pause control + S2Mel + BigVGAN)
  VibeVoiceTTS/           VibeVoice long-form / multi-speaker TTS (MLX, EN/ZH)
  MagpieTTS/              NVIDIA Magpie-TTS Multilingual 357M (MLX INT4/INT8,
                          9 languages, 5 baked speakers, streaming)
  MagpieTTSCoreML/        Magpie CoreML backend (4 .mlmodelc + Swift-side
                          FSQ inverse; 8 languages, batch-only; hybrid
                          with MagpieTTS for LocalTransformer + audio
                          embeddings)
  MADLADTranslation/      MADLAD-400 many-to-many translation (MLX, 400+ languages)
  GLiNER/                 GLiNER2.5-Decide classification + entity spans (MLX, INT8/FP16/FP32)
  AudioCLILib/            Cài đặt các lệnh CLI
  AudioCLI/               Điểm vào CLI

scripts/              Chuyển đổi mô hình (PyTorch → MLX/CoreML), benchmarking
Tests/                Kiểm thử đơn vị và tích hợp
Examples/             Ứng dụng demo (PersonaPlexDemo, SpeechDemo)

GLiNER2.5-Decide: phân loại và đoạn thực thể gốc trên MLX (trọng số INT8, FP16 hoặc FP32); không cần Python khi suy luận.

⚠ Translation out of date — English guide. The new Clef section below awaits translation.

Clef-flash: development preview of local text decisions (9B, affine 4-bit MLX), with a joint schema head and a separate output-embedding prior.