Stimmen mit VoxCPM2 auf dem Mac klonen

Führe VoxCPM2 mit MLX lokal auf Apple Silicon aus, um eine Stimme zu klonen oder per Textbeschreibung zu gestalten. Das OpenBMB-Modell erzeugt Sprache in 30 Sprachen mit 48 kHz. Höre dir die Beispiele an und teste die CLI mit der Referenzaufnahme und ihrem genauen Transkript.

Hörproben · Eine Stimme mit der CLI klonen · VoxCPM2 im Vergleich zu Qwen3-TTS

Hörproben zum Klonen von Stimmen

Diese englischen Aufnahmen stammen aus dem veröffentlichten FLEURS-Vergleich. Referenz und erzeugte Sprache enthalten unterschiedliche Sätze. Jede Ausgabe ist eine repräsentative Hörprobe; die Vergleichswerte fassen mehrere Clips zusammen.

Eine Stimme mit der CLI klonen

Lade die Referenzaufnahme als reference.wav herunter. Der Befehl enthält ihr genaues Transkript. Ersetze Aufnahme und Transkript, wenn du eine eigene Stimmprobe verwendest.

speech speak "Hello from the cloned voice." \
    --engine voxcpm2 \
    --voxcpm2-variant bf16 \
    --voice-sample reference.wav \
    --voxcpm2-prompt-audio reference.wav \
    --voxcpm2-prompt-text "One can only wonder what the keyboard will become when something newer comes along." \
    --seed 42 \
    --output clone.wav

Was es ist

• 48 kHz Ausgabe — die einzige On-Device-Engine im Stack mit Studio-Samplerate. Alle anderen TTS-Module enden bei 24 kHz.
• Voice Design — Stilsteuerung per natürlicher Sprache: --voxcpm2-instruct "young female voice, warm and gentle". Keine andere Engine bietet das.
• Voice Cloning — Einzelreferenz-Cloning aus einem 16 kHz-Clip; "Ultimate Cloning" (Referenzaudio + Transkript) für eine treuere Prosodie.
• 30 Sprachen — Englisch, Chinesisch, Indonesisch, Japanisch, Koreanisch und mehr. Automatische Erkennung aus dem Text.
• Apache 2.0 — die Modellgewichte erben die Upstream-Lizenz von openbmb; unser Swift-Port nutzt dieselbe Lizenz.

Architektur

Fünf zusammenarbeitende Komponenten erzeugen die 48 kHz-Wellenform:

Bundles

Die aktuelle CLI unterstützt bf16- und int8-Bundles aus dem ursprünglichen Checkpoint openbmb/VoxCPM2. Die Projektionen im Sprach- und Diffusionsmodell werden quantisiert; der Audiodecoder behält die volle Präzision.

Round-Trip-ASR (Qwen3-ASR 0.6B, 8-Satz-Harness, Apple Silicon M-Serie):

Die CLI verwendet standardmäßig bf16. Wähle int8 für einen kleineren Download. int4 wurde eingestellt und steht nur als historische Messung in der Tabelle.

Quickstart

import VoxCPM2TTS

let tts = try await VoxCPM2TTSModel.fromPretrained()  // defaults to bf16
let audio = try await tts.generate(text: "Hello from VoxCPM2.", language: "english")
// audio: [Float] at 48 kHz mono

Das int8-Bundle ausdrücklich auswählen:

let tts = try await VoxCPM2TTSModel.fromPretrained(
    modelId: "aufklarer/VoxCPM2-MLX-int8"
)

Voice Design (per Instruktion)

Übergib eine natursprachliche Stilbeschreibung; das Modell wird darauf konditioniert, ganz ohne Referenzaudio:

let audio = try await tts.generateVoxCPM2(
    text: "Welcome to the show.",
    instruct: "A young woman, gentle and warm voice."
)

Voice Cloning

Einzelreferenz-Cloning aus einem 16 kHz-Mono-Clip:

let ref = try AudioFileLoader.load(url: URL(fileURLWithPath: "speaker.wav"),
                                   targetSampleRate: 16000)
let audio = try await tts.generateVoxCPM2(
    text: "This is a cloned voice.",
    refAudio: ref
)

Ultimate Cloning — übergib Referenzaudio und das passende Transkript gemeinsam, damit das LM auch auf den lexikalischen Kontext konditioniert wird und Prosodie/Akzent treuer erhalten bleiben:

let audio = try await tts.generateVoxCPM2(
    text: "Hello from the cloned voice.",
    refAudio: ref,
    promptText: "this is what the reference clip actually said",
    promptAudio: ref
)

CLI

speech speak "Hello there." \
    --engine voxcpm2 \
    --voxcpm2-variant int8 \
    --output hello.wav

# Voice design
speech speak "Welcome to the show." \
    --engine voxcpm2 \
    --voxcpm2-instruct "A young woman, gentle and warm voice." \
    --output design.wav

# Voice cloning
speech speak "This is a cloned voice." \
    --engine voxcpm2 \
    --voice-sample speaker.wav \
    --output clone.wav

Flags: --voxcpm2-variant {bf16,int8}, --voxcpm2-instruct, --voxcpm2-ref-audio, --voxcpm2-prompt-audio + --voxcpm2-prompt-text, --voxcpm2-cfg-value, --voxcpm2-timesteps, --voxcpm2-max-tokens, --voxcpm2-min-tokens, --seed für reproduzierbare Synthese.

VoxCPM2 im Vergleich zu Qwen3-TTS

Veröffentlichte englische Ergebnisse mit zehn FLEURS-Paaren aus Referenz und Ziel pro Modell: Mittelwerte für WER und UTMOS, Median für RTF. Niedrigere WER und RTF sind besser. UTMOS schätzt Natürlichkeit und ist keine menschliche Bewertung. Die Werte ergeben keine allgemeingültige Rangliste.

Stimmenvergleich in fünf Sprachen mit Messmethode.

Auswahl unter den TTS-Modulen von speech-swift

Verantwortungsvolle Nutzung

Voice Cloning ist enthalten. Hol dir vorab die Zustimmung für jede Stimme, die du klonst, und nutze das Modell nicht für Identitätsdiebstahl, Desinformation oder Betrug. Es gelten die vollständigen Sicherheitsempfehlungen von openbmb/VoxCPM2.