Клонирование голоса с VoxCPM2 на Mac

Запустите VoxCPM2 локально на Apple Silicon с MLX, чтобы клонировать голос или создать его по текстовому описанию. Модель OpenBMB генерирует речь с частотой 48 кГц на 30 языках. Послушайте примеры, затем попробуйте CLI с исходной записью и её точной расшифровкой.

Аудиопримеры · Клонирование голоса через CLI · VoxCPM2 и Qwen3-TTS: сравнение

Примеры клонирования голоса

Эти английские записи взяты из опубликованного сравнения на FLEURS. Исходная и сгенерированная речь содержат разные предложения. Каждый результат — один показательный пример; метрики сравнения обобщают несколько записей.

Клонирование голоса через CLI

Скачайте Исходная запись как reference.wav. В команде указана её точная расшифровка. Для собственного образца замените и запись, и расшифровку.

speech speak "Hello from the cloned voice." \
    --engine voxcpm2 \
    --voxcpm2-variant bf16 \
    --voice-sample reference.wav \
    --voxcpm2-prompt-audio reference.wav \
    --voxcpm2-prompt-text "One can only wonder what the keyboard will become when something newer comes along." \
    --seed 42 \
    --output clone.wav

Что это

• Выход 48 кГц — единственный on-device движок в этом стеке со студийной частотой дискретизации. Все остальные TTS-модули ограничены 24 кГц.
• Голосовой дизайн — управление стилем на естественном языке: --voxcpm2-instruct "young female voice, warm and gentle". У других движков этого нет.
• Клонирование голоса — клонирование по одной 16 кГц-референсной записи; "ultimate cloning" (референсное аудио + транскрипт) для более точного сохранения просодии.
• 30 языков — английский, китайский, индонезийский, японский, корейский и др. Язык определяется автоматически по тексту.
• Apache 2.0 — веса наследуют лицензию upstream openbmb; наш Swift-порт остаётся под той же лицензией.

Архитектура

Пять взаимосвязанных компонентов формируют 48 кГц-волну:

Сборки

Текущая CLI поддерживает bf16 и int8, преобразованные из исходного чекпойнта openbmb/VoxCPM2. Квантуются проекции языковой и диффузионной моделей; аудиодекодер сохраняет полную точность.

Round-trip ASR (Qwen3-ASR 0.6B, стенд из 8 предложений, Apple Silicon серии M):

По умолчанию CLI использует bf16; выберите int8 для меньшего объёма загрузки. int4 больше не поддерживается и оставлен в таблице только как исторический результат.

Быстрый старт

import VoxCPM2TTS

let tts = try await VoxCPM2TTSModel.fromPretrained()  // defaults to bf16
let audio = try await tts.generate(text: "Hello from VoxCPM2.", language: "english")
// audio: [Float] at 48 kHz mono

Явно выберите сборку int8:

let tts = try await VoxCPM2TTSModel.fromPretrained(
    modelId: "aufklarer/VoxCPM2-MLX-int8"
)

Голосовой дизайн (по инструкции)

Передайте описание стиля на естественном языке; модель обусловится на нём без референсного аудио:

let audio = try await tts.generateVoxCPM2(
    text: "Welcome to the show.",
    instruct: "A young woman, gentle and warm voice."
)

Клонирование голоса

Клонирование по одной моно-референсной записи 16 кГц:

let ref = try AudioFileLoader.load(url: URL(fileURLWithPath: "speaker.wav"),
                                   targetSampleRate: 16000)
let audio = try await tts.generateVoxCPM2(
    text: "This is a cloned voice.",
    refAudio: ref
)

Ultimate cloning — передайте одновременно референсное аудио и соответствующий транскрипт, чтобы LM дополнительно обусловилась на лексическом контексте и точнее сохраняла просодию и акцент:

let audio = try await tts.generateVoxCPM2(
    text: "Hello from the cloned voice.",
    refAudio: ref,
    promptText: "this is what the reference clip actually said",
    promptAudio: ref
)

CLI

speech speak "Hello there." \
    --engine voxcpm2 \
    --voxcpm2-variant int8 \
    --output hello.wav

# Voice design
speech speak "Welcome to the show." \
    --engine voxcpm2 \
    --voxcpm2-instruct "A young woman, gentle and warm voice." \
    --output design.wav

# Voice cloning
speech speak "This is a cloned voice." \
    --engine voxcpm2 \
    --voice-sample speaker.wav \
    --output clone.wav

Флаги: --voxcpm2-variant {bf16,int8}, --voxcpm2-instruct, --voxcpm2-ref-audio, --voxcpm2-prompt-audio + --voxcpm2-prompt-text, --voxcpm2-cfg-value, --voxcpm2-timesteps, --voxcpm2-max-tokens, --voxcpm2-min-tokens, --seed для воспроизводимого синтеза.

VoxCPM2 и Qwen3-TTS: сравнение

Опубликованные результаты для английского: десять пар исходных и целевых записей FLEURS на модель. WER и UTMOS — средние, RTF — медиана. Меньшие WER и RTF лучше. UTMOS прогнозирует естественность и не заменяет оценку людьми. Это не универсальный рейтинг моделей.

Полное сравнение клонирования на пяти языках и методика.

Выбор среди TTS-модулей speech-swift

Ответственное использование

Клонирование голоса доступно из коробки. Получайте согласие на любой клонируемый голос и не используйте модель для выдачи себя за других, дезинформации или мошенничества. Применяется полное руководство по безопасности openbmb/VoxCPM2.