Clonage vocal avec VoxCPM2 sur Mac

Exécutez VoxCPM2 en local sur Apple Silicon avec MLX pour cloner une voix ou la concevoir à partir d’une description. Ce modèle OpenBMB génère une voix à 48 kHz dans 30 langues. Écoutez les exemples, puis testez la CLI avec l’enregistrement de référence et sa transcription exacte.

Extraits audio · Cloner une voix avec la CLI · VoxCPM2 face à Qwen3-TTS

Exemples de clonage vocal

Ces extraits anglais proviennent de la comparaison FLEURS publiée. La référence et la voix générée prononcent des phrases différentes. Chaque sortie est un exemple représentatif ; les mesures regroupent plusieurs extraits.

Cloner une voix avec la CLI

Téléchargez l’Audio de référence sous le nom reference.wav. La commande utilise sa transcription exacte ; remplacez l’enregistrement et la transcription pour votre propre échantillon.

speech speak "Hello from the cloned voice." \
    --engine voxcpm2 \
    --voxcpm2-variant bf16 \
    --voice-sample reference.wav \
    --voxcpm2-prompt-audio reference.wav \
    --voxcpm2-prompt-text "One can only wonder what the keyboard will become when something newer comes along." \
    --seed 42 \
    --output clone.wav

Présentation

• Sortie 48 kHz — la seule engine on-device du stack à proposer une fréquence d'échantillonnage studio. Les autres TTS plafonnent à 24 kHz.
• Design vocal — contrôle stylistique en langage naturel : --voxcpm2-instruct "young female voice, warm and gentle". Aucun autre moteur n'expose cette fonctionnalité.
• Clonage de voix — clonage par référence unique à partir d'un clip 16 kHz ; "ultimate cloning" (audio de référence + transcription) pour préserver la prosodie plus fidèlement.
• 30 langues — anglais, chinois, indonésien, japonais, coréen et plus. Détection automatique depuis le texte.
• Apache 2.0 — les poids héritent de la licence amont openbmb ; notre port Swift est sous la même licence.

Architecture

Cinq composants coopèrent pour produire la forme d'onde 48 kHz :

Bundles

La CLI actuelle prend en charge les bundles bf16 et int8 convertis depuis le checkpoint original openbmb/VoxCPM2. Les projections des modèles de langage et de diffusion sont quantifiées ; le décodeur audio reste en pleine précision.

ASR round-trip (Qwen3-ASR 0.6B, harnais 8 phrases, Apple Silicon série M) :

La CLI utilise bf16 par défaut ; choisissez int8 pour un téléchargement plus léger. int4 est retiré et ne figure dans le tableau qu’à titre de mesure historique.

Quickstart

import VoxCPM2TTS

let tts = try await VoxCPM2TTSModel.fromPretrained()  // defaults to bf16
let audio = try await tts.generate(text: "Hello from VoxCPM2.", language: "english")
// audio: [Float] at 48 kHz mono

Sélectionnez explicitement le bundle int8 :

let tts = try await VoxCPM2TTSModel.fromPretrained(
    modelId: "aufklarer/VoxCPM2-MLX-int8"
)

Design vocal (instruction-driven)

Passez une description stylistique en langage naturel ; le modèle s'y conditionne sans audio de référence :

let audio = try await tts.generateVoxCPM2(
    text: "Welcome to the show.",
    instruct: "A young woman, gentle and warm voice."
)

Clonage de voix

Clonage à référence unique depuis un clip mono 16 kHz :

let ref = try AudioFileLoader.load(url: URL(fileURLWithPath: "speaker.wav"),
                                   targetSampleRate: 16000)
let audio = try await tts.generateVoxCPM2(
    text: "This is a cloned voice.",
    refAudio: ref
)

Ultimate cloning — passez à la fois l'audio de référence et la transcription correspondante pour que le LM se conditionne aussi sur le contexte lexical et préserve mieux la prosodie et l'accent :

let audio = try await tts.generateVoxCPM2(
    text: "Hello from the cloned voice.",
    refAudio: ref,
    promptText: "this is what the reference clip actually said",
    promptAudio: ref
)

CLI

speech speak "Hello there." \
    --engine voxcpm2 \
    --voxcpm2-variant int8 \
    --output hello.wav

# Voice design
speech speak "Welcome to the show." \
    --engine voxcpm2 \
    --voxcpm2-instruct "A young woman, gentle and warm voice." \
    --output design.wav

# Voice cloning
speech speak "This is a cloned voice." \
    --engine voxcpm2 \
    --voice-sample speaker.wav \
    --output clone.wav

Flags : --voxcpm2-variant {bf16,int8}, --voxcpm2-instruct, --voxcpm2-ref-audio, --voxcpm2-prompt-audio + --voxcpm2-prompt-text, --voxcpm2-cfg-value, --voxcpm2-timesteps, --voxcpm2-max-tokens, --voxcpm2-min-tokens, --seed pour une synthèse reproductible.

VoxCPM2 face à Qwen3-TTS

Résultats anglais publiés sur dix paires FLEURS de référence et de cible par modèle : moyennes WER et UTMOS, médiane RTF. Des WER et RTF plus faibles sont préférables. UTMOS prédit le naturel et ne remplace pas une évaluation humaine. Ces résultats ne constituent pas un classement universel.

Comparaison du clonage dans cinq langues et méthodologie.

Choisir parmi les modules TTS de speech-swift

Usage responsable

Le clonage de voix est inclus. Obtenez le consentement pour toute voix que vous clonez ; n'utilisez pas le modèle pour usurper l'identité, générer de la désinformation ou commettre une fraude. Le guide de sécurité complet de openbmb/VoxCPM2 s'applique.