Arquitectura

TTS nativo por instrucciones

Compile el SDK nativo desde el código de main. Las versiones precompiladas de CLI, incluido Homebrew, podrían no incluir aún estos motores.

Implementación (PR #541): main

Paquetes MLX publicados: aufklarer/FireRedTTS3-Instruct-MLX-fp32 · aufklarer/MOSS-VoiceGenerator-MLX-bf16

FireRedTTS3-Instruct — FireRedTTS3TTS: FireRedTTS3-Instruct conserva pesos Float32 del modelo y del decodificador. Devuelve el audio completo en memoria: omita --stream. --language acepta alias de inglés y chino. Alcanzar el límite genera un error, no un resultado truncado satisfactorio.

MOSS-VoiceGenerator — MossVoiceGeneratorTTS: MOSS-VoiceGenerator conserva pesos de lenguaje BF16 y el códec de síntesis FP32. Use --stream para PCM incremental. Omita --language e indique el idioma en --instruct. La finalización vacía los dieciséis libros de códigos.

Los campos de texto e instrucción tienen un límite individual de 32.768 bytes UTF-8. El mensaje de entrada completo, con su plantilla, debe caber en 4.096 tokens. Se rechazan las entradas que superen cualquiera de los límites.

El seguimiento de instrucciones aún no se ha puntuado. Las mediciones con textos cortos describen la configuración probada; la certificación de regresión de latencia sigue siendo inconclusa.

speech speak "The quick brown fox jumps over the lazy dog." --engine breeze \
  --instruct "A clear, calm English narrator." --stream -o design.wav

speech-swift está organizado como un paquete Swift modular con protocolos compartidos, módulos de modelo independientes y una CLI unificada. Toda la inferencia se ejecuta en el dispositivo usando MLX (GPU Metal) o CoreML (Neural Engine).

Grafo de dependencias de módulos

                    ┌──────────┐
                    │ AudioCLI │  (punto de entrada)
                    └────┬─────┘
                         │
                  ┌──────┴──────┐
                  │ AudioCLILib │  (comandos)
                  └──────┬──────┘
                         │
       ┌─────────┬───────┼───────┬──────────┬──────────────┐
       │         │       │       │          │              │
  ┌────┴───┐ ┌──┴──┐ ┌──┴──┐ ┌─┴────┐ ┌───┴────┐ ┌──────┴───────┐
  │Qwen3ASR│ │Qwen3│ │Cosy │ │Perso-│ │Speech- │ │  Speech-     │
  │Parakeet│ │ TTS │ │Voice│ │naPlex│ │  VAD   │ │Enhancement   │
  └────┬───┘ └──┬──┘ └──┬──┘ └──┬───┘ └───┬───┘ └──────┬───────┘
       │        │       │       │         │             │
       └────────┴───────┼───────┴─────────┘             │
                        │                               │
                 ┌──────┴──────┐                        │
                 │ Qwen3Common │  (capas compartidas)   │
                 └──────┬──────┘                        │
                        │                               │
                 ┌──────┴──────┐                        │
                 │ AudioCommon │ ◄──────────────────────┘
                 └─────────────┘  (protocolos, E/S de audio)

MOSS Transcribe Diarize

MossTranscribe devuelve segmentos con marcas de tiempo y hablante mediante backends nativos CoreML y MLX. CoreML usa un estado fijo de 1.024 tokens para grabaciones cortas. MLX usa un contexto dinámico de 131.072 tokens, pesos de decodificador affine INT5/INT8 y cachés KV opcionales FP16/INT8. Ambos son runtimes offline y autorregresivos, no de streaming.

VoiceChat 11B

Tarea y referencia: speech-to-speech dúplex; SALM-Duplex: Efficient and Direct Duplex Modeling for Speech-to-Speech Language Model (Interspeech 2025), citado por la ficha upstream de VoiceChat de NVIDIA.

Runtime completo, M5 Pro 48 GB, Release, cadencia live de 80 ms: el INT5 con cabezales protegidos alcanza unos 8.69 GB de RSS máximo; tres resultados controlados del RTF de la ruta completa fueron 0.96, 0.96 y 0.99. El rendimiento INT8 optimizado aún no se ha vuelto a medir.

VoiceChat implementa la ruta completa nativa de MLX de audio a audio: percepción FastConformer causal, canales dúplex de texto/función Nemotron-H, un decodificador EAR-TTS independiente condicionado por texto con ocho iteraciones MaskGIT y un códec neuronal de 22,05 kHz. El streaming conserva cachés acotadas de atención y convolución causal por capa, mientras que la ventana live estable de ocho tramas del códec usa un grafo compilado. Cada trama de entrada de 80 ms produce una decisión de lenguaje, 31 códigos RVQ y exactamente 1.764 muestras de salida. El cargador exige un bundle completo encoder/ + llm/ + tts/ y rechaza las exportaciones antiguas de solo comprensión. INT5 ahora mantiene un RTF agregado inferior a 1 en el M5 Pro probado, aunque el margen p95 por trama sigue siendo estrecho.

Backends de inferencia

Formato de pesos de los modelos

Los modelos MLX usan el formato safetensors con cuantización de 4 bits u 8 bits (tamaño de grupo 64). Los modelos CoreML usan el formato compilado .mlmodelc. Los scripts de conversión en scripts/ convierten desde checkpoints de PyTorch.

Cohere y Voxtral también ofrecen paquetes INT5 afines de MLX. MLX no admite INT7 afín; INT8 es la opción compatible de mayor calidad.

Inicialización de modelos MLX

QuantizedLinear.preQuantized crea matrices provisionales de ceros para las capas lineales cuantizadas que se cargan desde un checkpoint, evitando pesos aleatorios y sus grafos temporales de cuantización. withThrowawayRandomState mantiene la inicialización en coma flotante que se descarta fuera de la cadena de claves aleatorias del llamador. Los cargadores de modelos compuestos aíslan cada componente: T5 y EnCodec de MAGNeT, T5Gemma y SAME-L de Stable Audio 3 y el códec Mimi de CSM. Los embeddings cuantizados de CSM siguen usando el inicializador original y conservan su limitación conocida sobre la vida del grafo de inicialización.

Optimizaciones de rendimiento

• MLX compile() — Fusión de kernels para bucles autoregresivos. Talker usa compile(shapeless: true), el Code Predictor usa compile(shapeless: false) con tamaños de caché fijos.
• Librería de shaders Metal — El metallib precompilado evita una sobrecarga de compilación JIT ~5x. Construido vía scripts/build_mlx_metallib.sh.
• Decodificación de códec por chunks — El decoder TTS procesa audio en chunks de 25 frames con un solape de contexto de 10 frames para evitar timeouts de GPU.
• CFG con batch duplicado — El DiT de CosyVoice3 reduce a la mitad los pases de flow matching agrupando condicional + incondicional en un batch.
• RoPE fusionado — Usa MLXNN.RoPE respaldado por un kernel Metal en lugar de rotación manual.
• Fusión de BN — La batch normalization de WeSpeaker se fusiona en los pesos de Conv2d en tiempo de conversión.

Procesamiento de audio

Toda la E/S de audio usa PCM Float32. El remuestreo interno gestiona la conversión de formato:

Estructura del código fuente

Sources/
  AudioCommon/            Protocolos compartidos, E/S de audio, captura de
                          la salida del sistema (SystemAudioTap),
                          descargador de HuggingFace, SentencePieceModel
                          (lector de protobuf)
  MLXCommon/              Utilidades MLX: carga de pesos, helpers QuantizedLinear,
                          helper de atención multi-head SDPA, presupuesto metal
  Qwen3Common/            Componentes de modelo compartidos (caché KV, RoPE, cuantización)
  Qwen3ASR/               Qwen3-ASR voz a texto
  ParakeetASR/            Parakeet TDT voz a texto (CoreML)
  ParakeetStreamingASR/   Dictado en streaming Parakeet EOU 120M (CoreML)
  OmnilingualASR/         Meta wav2vec2 + CTC, 1.672 idiomas
                          (CoreML 300M + MLX 300M / 1B / 3B / 7B)
  CohereTranscribeASR/  Cohere Transcribe 2B speech-to-text (MLX)
  VoxtralASR/            Voxtral Mini 3B speech-to-text (MLX)
  Qwen3TTS/               Qwen3-TTS texto a voz
  FireRedTTS3TTS/         FireRedTTS3-Instruct (MLX, Float32)
  MossVoiceGeneratorTTS/  MOSS-VoiceGenerator (MLX, BF16 + FP32)
  CosyVoiceTTS/           CosyVoice3 texto a voz
  KokoroTTS/              Kokoro-82M texto a voz (CoreML)
  Qwen3Chat/              Chat LLM en el dispositivo Qwen3.5-0.8B (MLX + CoreML)
  PersonaPlex/            PersonaPlex voz a voz
  SpeechVAD/              VAD (Silero + Pyannote), diarización, embeddings de hablante
  SpeechLanguageID/       Identificación del idioma hablado (SpeechBrain ECAPA, MLX + CoreML, 107 etiquetas)
  SpeechEnhancement/      Supresión de ruido DeepFilterNet3 (CoreML)
  SourceSeparation/       Open-Unmix HQ / UMX-L + HTDemucs (Demucs v4) music source separation (MLX, 4 stems)
  MAGNeTMusicGen/         MAGNeT text-to-music generation (MLX, 30 s @ 32 kHz, INT4/INT8)
  VoxCPM2TTS/             VoxCPM2 text-to-speech (MLX, 48 kHz, voice cloning + voice design)
  IndexTTS2TTS/           IndexTTS2 voice cloning (MLX, semantic GPT + emotion/tempo/pause control + S2Mel + BigVGAN)
  VibeVoiceTTS/           VibeVoice long-form / multi-speaker TTS (MLX, EN/ZH)
  MADLADTranslation/      MADLAD-400 many-to-many translation (MLX, 400+ languages)
  GLiNER/                 GLiNER2.5-Decide classification + entity spans (MLX, INT8/FP16/FP32)
  AudioCLILib/            Implementaciones de comandos de la CLI
  AudioCLI/               Punto de entrada de la CLI

scripts/              Conversión de modelos (PyTorch → MLX/CoreML), benchmarking
Tests/                Pruebas unitarias y de integración
Examples/             Apps de demostración (PersonaPlexDemo, SpeechDemo)

GLiNER2.5-Decide: clasificación y fragmentos de entidades nativos en MLX (pesos INT8, FP16 o FP32); sin Python en la inferencia.

⚠ Translation out of date — English guide. The new Clef section below awaits translation.

Clef-flash: development preview of local text decisions (9B, affine 4-bit MLX), with a joint schema head and a separate output-embedding prior.