Clonagem de voz com VoxCPM2 no Mac

Execute o VoxCPM2 localmente no Apple Silicon com MLX para clonar uma voz ou criá-la por descrição. Este modelo da OpenBMB gera fala a 48 kHz em 30 idiomas. Ouça os exemplos e experimente a CLI com a gravação de referência e sua transcrição exata.

Amostras de áudio · Clone uma voz com a CLI · VoxCPM2 versus Qwen3-TTS

Amostras de clonagem de voz

Estes clipes em inglês vêm da comparação FLEURS publicada. A referência e a fala gerada usam frases diferentes. Cada saída é uma amostra representativa; as métricas resumem vários clipes.

Clone uma voz com a CLI

Baixe o Áudio de referência como reference.wav. O comando usa a transcrição exata; substitua tanto a gravação quanto a transcrição ao usar sua própria amostra.

speech speak "Hello from the cloned voice." \
    --engine voxcpm2 \
    --voxcpm2-variant bf16 \
    --voice-sample reference.wav \
    --voxcpm2-prompt-audio reference.wav \
    --voxcpm2-prompt-text "One can only wonder what the keyboard will become when something newer comes along." \
    --seed 42 \
    --output clone.wav

Visão geral

• Saída em 48 kHz — o único motor on-device do stack com taxa de amostragem de estúdio. Todos os outros TTS terminam em 24 kHz.
• Design de voz — controle de estilo por linguagem natural: --voxcpm2-instruct "young female voice, warm and gentle". Nenhum outro motor expõe isso.
• Clonagem de voz — clonagem por referência única a partir de um clipe 16 kHz; "ultimate cloning" (áudio de referência + transcrição) para preservar melhor a prosódia.
• 30 idiomas — inglês, chinês, indonésio, japonês, coreano e mais. Detecção automática a partir do texto.
• Apache 2.0 — os pesos herdam a licença upstream do openbmb; nosso port em Swift mantém a mesma.

Arquitetura

Cinco componentes cooperam para gerar a forma de onda em 48 kHz:

Pacotes

A CLI atual aceita os pacotes bf16 e int8 convertidos do checkpoint original openbmb/VoxCPM2. As projeções dos modelos de linguagem e difusão são quantizadas; o decodificador de áudio mantém a precisão completa.

ASR round-trip (Qwen3-ASR 0.6B, 8 frases, Apple Silicon série M):

A CLI usa bf16 por padrão; escolha int8 para reduzir o download. int4 foi descontinuado e aparece na tabela apenas como medição histórica.

Início rápido

import VoxCPM2TTS

let tts = try await VoxCPM2TTSModel.fromPretrained()  // defaults to bf16
let audio = try await tts.generate(text: "Hello from VoxCPM2.", language: "english")
// audio: [Float] at 48 kHz mono

Selecione explicitamente o pacote int8:

let tts = try await VoxCPM2TTSModel.fromPretrained(
    modelId: "aufklarer/VoxCPM2-MLX-int8"
)

Design de voz (por instrução)

Passe uma descrição de estilo em linguagem natural; o modelo se condiciona a ela sem áudio de referência:

let audio = try await tts.generateVoxCPM2(
    text: "Welcome to the show.",
    instruct: "A young woman, gentle and warm voice."
)

Clonagem de voz

Clonagem com referência única a partir de um clipe mono 16 kHz:

let ref = try AudioFileLoader.load(url: URL(fileURLWithPath: "speaker.wav"),
                                   targetSampleRate: 16000)
let audio = try await tts.generateVoxCPM2(
    text: "This is a cloned voice.",
    refAudio: ref
)

Ultimate cloning — passe ao mesmo tempo o áudio de referência e sua transcrição correspondente para que o LM se condicione também sobre o contexto lexical e preserve melhor prosódia e sotaque:

let audio = try await tts.generateVoxCPM2(
    text: "Hello from the cloned voice.",
    refAudio: ref,
    promptText: "this is what the reference clip actually said",
    promptAudio: ref
)

CLI

speech speak "Hello there." \
    --engine voxcpm2 \
    --voxcpm2-variant int8 \
    --output hello.wav

# Voice design
speech speak "Welcome to the show." \
    --engine voxcpm2 \
    --voxcpm2-instruct "A young woman, gentle and warm voice." \
    --output design.wav

# Voice cloning
speech speak "This is a cloned voice." \
    --engine voxcpm2 \
    --voice-sample speaker.wav \
    --output clone.wav

Flags: --voxcpm2-variant {bf16,int8}, --voxcpm2-instruct, --voxcpm2-ref-audio, --voxcpm2-prompt-audio + --voxcpm2-prompt-text, --voxcpm2-cfg-value, --voxcpm2-timesteps, --voxcpm2-max-tokens, --voxcpm2-min-tokens, --seed para síntese reproduzível.

VoxCPM2 versus Qwen3-TTS

Resultados publicados em inglês para dez pares FLEURS de referência e alvo por modelo: médias de WER e UTMOS, mediana de RTF. WER e RTF menores são melhores. UTMOS prevê a naturalidade e não é uma avaliação humana. Os resultados não estabelecem uma classificação universal.

Comparação de clonagem em cinco idiomas e metodologia.

Escolhendo entre os módulos TTS do speech-swift

Uso responsável

Inclui clonagem de voz. Obtenha consentimento para qualquer voz clonada e não use o modelo para se passar por alguém, gerar desinformação ou cometer fraude. Aplica-se o guia completo de segurança de openbmb/VoxCPM2.