Chatterbox Multilingual

Cette page Soniqo documente Chatterbox Multilingual tel qu'il est implémenté dans speech-swift / speech-core. Les liens Hugging Face sont placés après les notes d'intégration.

Aperçu

Utilisation

L'extrait ci-dessous suit l'API ou la commande actuellement exposée par speech-swift.

import ChatterboxTTS

let model = try await ChatterboxTTSModel.fromPretrained()
let pcm = try model.clone(
    referenceSamples: reference,
    sampleRate: 24_000,
    text: "The cloned voice now speaks a new sentence.",
    languageId: "en"
)

Liens du modèle

• MLX fp16 bundle
• LiteRT bundle
• speech-swift docs
• speech-core header

Notes d'implémentation

• Le téléchargement est réparti entre le bundle Chatterbox principal et le dépôt séparé du S3 tokenizer.
• La pipeline enchaîne T3 text-to-speech tokens, S3Gen flow mel decoder, puis le vocoder HiFi-GAN / HiFTGenerator.
• Les clips de référence sont rééchantillonnés à 24 kHz pour S3Gen et à 16 kHz pour speaker/token conditioning.
• Le clonage MLX et la synthèse S3Gen autonome appliquent un plafond temporaire de cache de 512 MiB et vident le cache entre les étapes, tout en préservant les budgets inférieurs de l’appelant. memoryOptions: .unrestricted ignore ces contrôles de génération ; le plafond partagé de durée de vie du modèle reste applicable.
• Le clonage Flash Core ML utilise les MLX reference-audio encoders pour préparer le conditioning, puis exécute les graphes T3/S3Gen Core ML exportés. CFG reste désactivé par défaut sauf si le bundle contient t3/NullTextPrefill.mlmodelc ; l'audio export public à 192 tokens limite le prompt de référence Flash à 6 secondes afin de garder de la place pour la parole générée.
• Le chemin LiteRT de speech-core fournit une voix par défaut ; fp16 T3 est recommandé pour la qualité en arabe.