Chatterbox Multilingual

Esta página da Soniqo documenta Chatterbox Multilingual conforme a implementação local em speech-swift / speech-core. Os links do Hugging Face ficam abaixo das notas de integração.

Visão geral

Uso

O trecho abaixo reflete a API ou comando atual exposto por speech-swift.

import ChatterboxTTS

let model = try await ChatterboxTTSModel.fromPretrained()
let pcm = try model.clone(
    referenceSamples: reference,
    sampleRate: 24_000,
    text: "The cloned voice now speaks a new sentence.",
    languageId: "en"
)

Links do modelo

• MLX fp16 bundle
• LiteRT bundle
• speech-swift docs
• speech-core header

Notas de implementação

• O download é dividido entre o bundle principal do Chatterbox e o repositório separado do S3 tokenizer.
• O pipeline usa T3 text-to-speech tokens, o S3Gen flow mel decoder e depois o vocoder HiFi-GAN / HiFTGenerator.
• Os clipes de referência são reamostrados para 24 kHz no S3Gen e para 16 kHz no speaker/token conditioning.
• A clonagem MLX e a síntese S3Gen autónoma aplicam um limite temporário de cache até 512 MiB e limpam a cache entre etapas, preservando orçamentos inferiores do chamador. memoryOptions: .unrestricted omite estes controlos de geração; o limite partilhado durante a vida do modelo mantém-se.
• A clonagem com Flash Core ML usa MLX reference-audio encoders para preparar conditioning e então executa os grafos T3/S3Gen Core ML exportados. CFG fica desligado por padrão, a menos que o bundle inclua t3/NullTextPrefill.mlmodelc; o audio export público de 192 tokens limita o prompt de referência Flash a 6 segundos para deixar espaço para a fala gerada.
• O caminho LiteRT do speech-core inclui uma voz padrão; fp16 T3 é recomendado para qualidade em árabe.