Arquitetura

TTS nativo por instruções

Compile o SDK nativo a partir do código de main. O Homebrew e outras versões CLI pré-compiladas podem ainda não incluir estes motores.

Implementação (PR #541): main

Bundles MLX publicados: aufklarer/FireRedTTS3-Instruct-MLX-fp32 · aufklarer/MOSS-VoiceGenerator-MLX-bf16

FireRedTTS3-Instruct — FireRedTTS3TTS: FireRedTTS3-Instruct mantém os pesos Float32 do modelo e do decodificador. Retorna áudio completo em memória: omita --stream. --language aceita aliases de inglês e chinês. Atingir o limite gera erro, em vez de sucesso com áudio truncado.

MOSS-VoiceGenerator — MossVoiceGeneratorTTS: MOSS-VoiceGenerator mantém pesos de linguagem BF16 e o codec de síntese FP32. Use --stream para PCM incremental. Omita --language e inclua o idioma em --instruct. A conclusão esvazia os dezesseis livros de códigos.

Os campos de texto e instrução têm um limite individual de 32.768 bytes UTF-8. O prompt de entrada completo, incluindo o modelo, deve caber em 4.096 tokens após renderização. Entradas que excedam qualquer limite são rejeitadas.

O cumprimento de instruções ainda não foi pontuado. As medições com textos curtos descrevem a configuração testada; a certificação de regressão de latência continua inconclusiva.

speech speak "The quick brown fox jumps over the lazy dog." --engine breeze \
  --instruct "A clear, calm English narrator." --stream -o design.wav

speech-swift e organizado como um pacote Swift modular com protocolos compartilhados, modulos de modelo independentes e um CLI unificado. Toda a inferencia roda no dispositivo usando MLX (GPU Metal) ou CoreML (Neural Engine).

Grafo de dependencias dos modulos

                    ┌──────────┐
                    │ AudioCLI │  (entry point)
                    └────┬─────┘
                         │
                  ┌──────┴──────┐
                  │ AudioCLILib │  (commands)
                  └──────┬──────┘
                         │
       ┌─────────┬───────┼───────┬──────────┬──────────────┐
       │         │       │       │          │              │
  ┌────┴───┐ ┌──┴──┐ ┌──┴──┐ ┌─┴────┐ ┌───┴────┐ ┌──────┴───────┐
  │Qwen3ASR│ │Qwen3│ │Cosy │ │Perso-│ │Speech- │ │  Speech-     │
  │Parakeet│ │ TTS │ │Voice│ │naPlex│ │  VAD   │ │Enhancement   │
  └────┬───┘ └──┬──┘ └──┬──┘ └──┬───┘ └───┬───┘ └──────┬───────┘
       │        │       │       │         │             │
       └────────┴───────┼───────┴─────────┘             │
                        │                               │
                 ┌──────┴──────┐                        │
                 │ Qwen3Common │  (shared layers)       │
                 └──────┬──────┘                        │
                        │                               │
                 ┌──────┴──────┐                        │
                 │ AudioCommon │ ◄──────────────────────┘
                 └─────────────┘  (protocols, audio I/O)

MOSS Transcribe Diarize

MossTranscribe retorna segmentos com timestamps e identificação de locutor por backends nativos CoreML e MLX. CoreML usa estado fixo de 1.024 tokens para gravações curtas. MLX usa contexto dinâmico de 131.072 tokens, pesos de decoder affine INT5/INT8 e caches KV opcionais FP16/INT8. Ambos são runtimes offline e autoregressivos, sem streaming.

VoiceChat 11B

Tarefa e referência: speech-to-speech duplex; SALM-Duplex: Efficient and Direct Duplex Modeling for Speech-to-Speech Language Model (Interspeech 2025), citado pelo model card upstream da NVIDIA.

Runtime completo, M5 Pro 48 GB, Release, cadência live de 80 ms: o INT5 com heads protegidos atinge cerca de 8.69 GB de RSS de pico; três resultados controlados de RTF do pipeline completo foram 0.96, 0.96 e 0.99. O desempenho INT8 otimizado ainda não foi medido novamente.

VoiceChat implementa o caminho nativo completo de áudio para áudio em MLX: percepção FastConformer causal, canais duplex de texto/função Nemotron-H, decoder EAR-TTS independente condicionado por texto com oito iterações MaskGIT e codec neural de 22,05 kHz. O streaming mantém caches limitados de atenção e convolução causal por camada, enquanto a janela live estável de oito quadros do codec usa um grafo compilado. Cada quadro de entrada de 80 ms produz uma decisão de linguagem, 31 códigos RVQ e exatamente 1.764 amostras de saída. O loader exige um bundle completo encoder/ + llm/ + tts/ e rejeita exports antigos apenas de compreensão. INT5 agora mantém RTF médio abaixo de 1 no M5 Pro testado, embora a margem p95 por quadro continue estreita.

Backends de inferencia

Formato dos pesos do modelo

Modelos MLX usam o formato safetensors com quantizacao de 4 bits ou 8 bits (tamanho de grupo 64). Modelos CoreML usam o formato compilado .mlmodelc. Scripts de conversao em scripts/ convertem a partir de checkpoints PyTorch.

Cohere e Voxtral também oferecem pacotes MLX INT5 afins. O MLX não aceita INT7 afim; INT8 é a opção compatível de maior qualidade.

Inicialização de modelos MLX

QuantizedLinear.preQuantized cria matrizes provisórias de zeros para camadas lineares quantizadas carregadas de um checkpoint, evitando pesos aleatórios e os respetivos grafos temporários de quantização. withThrowawayRandomState mantém a inicialização em ponto flutuante que será descartada fora da cadeia de chaves aleatórias de quem chama. Os carregadores de modelos compostos isolam cada componente: T5 e EnCodec do MAGNeT, T5Gemma e SAME-L do Stable Audio 3 e o codec Mimi do CSM. Os embeddings quantizados do CSM continuam a usar o inicializador original e mantêm a sua limitação conhecida quanto ao tempo de vida do grafo de inicialização.

Otimizacoes de desempenho

• MLX compile() — Fusao de kernels para loops autoregressivos. Talker usa compile(shapeless: true), Code Predictor usa compile(shapeless: false) com tamanhos de cache fixos.
• Biblioteca de shaders Metal — Metallib pre-compilada evita ~5x de overhead de compilacao JIT. Construida via scripts/build_mlx_metallib.sh.
• Decode de codec em chunks — O decodificador TTS processa audio em chunks de 25 frames com sobreposicao de contexto de 10 frames para evitar timeout da GPU.
• CFG com batch duplicado — O DiT do CosyVoice3 reduz pela metade os passes de flow matching agrupando condicional + incondicional juntos.
• RoPE fusionado — Usa MLXNN.RoPE apoiado por kernel Metal em vez de rotacao manual.
• Fusao de BN — A batch normalization do WeSpeaker e fusionada nos pesos Conv2d em tempo de conversao.

Processamento de audio

Todo o I/O de audio usa PCM Float32. A reamostragem interna lida com a conversao de formato:

Estrutura de codigo-fonte

Sources/
  AudioCommon/            Protocolos compartilhados, E/S de áudio, captura
                          da saída do sistema (SystemAudioTap), downloader
                          HuggingFace, SentencePieceModel (leitor protobuf)
  MLXCommon/              MLX utilities: weight loading, QuantizedLinear helpers,
                          SDPA multi-head attention helper, metal budget
  Qwen3Common/            Shared model components (KV cache, RoPE, quantization)
  Qwen3ASR/               Qwen3-ASR speech-to-text
  ParakeetASR/            Parakeet TDT speech-to-text (CoreML)
  ParakeetStreamingASR/   Parakeet EOU 120M streaming dictation (CoreML)
  OmnilingualASR/         Meta wav2vec2 + CTC, 1,672 languages
                          (CoreML 300M + MLX 300M / 1B / 3B / 7B)
  CohereTranscribeASR/  Cohere Transcribe 2B speech-to-text (MLX)
  VoxtralASR/            Voxtral Mini 3B speech-to-text (MLX)
  Qwen3TTS/               Qwen3-TTS text-to-speech
  FireRedTTS3TTS/         FireRedTTS3-Instruct (MLX, Float32)
  MossVoiceGeneratorTTS/  MOSS-VoiceGenerator (MLX, BF16 + FP32)
  CosyVoiceTTS/           CosyVoice3 text-to-speech
  KokoroTTS/              Kokoro-82M text-to-speech (CoreML)
  Qwen3Chat/              Qwen3.5-0.8B on-device LLM chat (MLX + CoreML)
  PersonaPlex/            PersonaPlex speech-to-speech
  SpeechVAD/              VAD (Silero + Pyannote), diarization, speaker embeddings
  SpeechLanguageID/       Identificação do idioma falado (SpeechBrain ECAPA, MLX + CoreML, 107 rótulos)
  SpeechEnhancement/      DeepFilterNet3 noise suppression (CoreML)
  SourceSeparation/       Open-Unmix HQ / UMX-L + HTDemucs (Demucs v4) music source separation (MLX, 4 stems)
  MAGNeTMusicGen/         MAGNeT text-to-music generation (MLX, 30 s @ 32 kHz, INT4/INT8)
  VoxCPM2TTS/             VoxCPM2 text-to-speech (MLX, 48 kHz, voice cloning + voice design)
  IndexTTS2TTS/           IndexTTS2 voice cloning (MLX, semantic GPT + emotion/tempo/pause control + S2Mel + BigVGAN)
  VibeVoiceTTS/           VibeVoice long-form / multi-speaker TTS (MLX, EN/ZH)
  MADLADTranslation/      MADLAD-400 many-to-many translation (MLX, 400+ languages)
  GLiNER/                 GLiNER2.5-Decide classification + entity spans (MLX, INT8/FP16/FP32)
  AudioCLILib/            CLI command implementations
  AudioCLI/               CLI entry point

scripts/              Model conversion (PyTorch → MLX/CoreML), benchmarking
Tests/                Unit and integration tests
Examples/             Demo apps (PersonaPlexDemo, SpeechDemo)

GLiNER2.5-Decide: classificação e trechos de entidades nativos em MLX (pesos INT8, FP16 ou FP32); sem Python na inferência.

⚠ Translation out of date — English guide. The new Clef section below awaits translation.

Clef-flash: development preview of local text decisions (9B, affine 4-bit MLX), with a joint schema head and a separate output-embedding prior.