Breeze TTS 2

audio_tokenizer/LICENSE · Apache-2.0 · Qwen/Qwen3-TTS-Tokenizer-12Hz

Apple M5 Pro · 48 GiB · TTFA / RTF / RSS

2026-10-30 · en · 8bit=3.20 s · bf16=3.20 s · seed=42 · CFG=4 · firstChunkFrames=3 · chunkFrames=25 · MLX cache=2 GiB · warm=3

MLXTTFA p50RTFRSS (GiB)峰值物理内存占用 (GiB)
8bit178 ms0.5353.927.23
bf16272 ms0.8686.069.22

WAV=45 · distinct=11 · 8bit PCM SHA256=baseline · unit=1933 · skipped=42 · E2E=15 · Qwen3-ASR-0.6B-MLX-4bit

BF16 短句的 RTF 现为 0.868（基线：1.258），9.20 秒段落为 0.853（基线：1.280）。首块一帧时，首个 PCM 在 138 毫秒到达。最终 11 种不同波形经独立 ASR 验证，归一化 WER/CER 均为零；8 位默认分块输出与基线逐字节一致。BF16 舍入可能改变固定种子的音频。加载前设置 SPEECH_SWIFT_BREEZE_GEMV=0 可比较原始投影路径。

若要缩短播放启动时间，可使用一帧首块、两帧后续块和 1 GiB MLX 缓存预算。9.04 秒的 8 位段落预计在 190 毫秒完成 CLI 预缓冲，记录的分块到达时间不需要额外缓冲。此估计不含渲染回调和输出设备延迟。

2026-10-30 · 8bit · 9.04 s · firstChunkFrames=1 · chunkFrames=2 · MLX cache=1 GiB · PCM=103 ms · buffer=190 ms · RTF=0.761 · peak=6.10 GiB

speech speak "The quick brown fox jumps over the lazy dog." --engine breeze \
  --instruct "A clear, calm English narrator." --first-chunk-frames 1 \
  --chunk-frames 2 --breeze-cache-limit-mib 1024 --stream -o fast-start.wav

TTFA 不含模型加载和扬声器播放。结果取决于硬件、文本和设置。共享模型策略将可复用 MLX 缓存限制为 2 GiB 与物理内存四分之一中的较小值，并遵守应用的更低预算。--breeze-cache-limit-mib 可降低进程级上限；0 禁用可复用缓存。活动模型张量不受此限制。

英语/中文语音合成，支持声音设计、参考音频克隆与风格控制以及流式音频（MLX BF16/8-bit，24 kHz；仅限研究和非商业用途）.

BreezeTTS · 24,000 Hz · 16 × 2,048 · 80 ms · MLX BF16 / 8-bit

使用方法

speech speak "The quick brown fox jumps over the lazy dog." --engine breeze \
  --instruct "A clear, calm English narrator." --stream -o design.wav

speech speak "The weather is beautiful today." --engine breeze \
  --voice-sample reference.wav --breeze-reference-text "Exact transcript." \
  --breeze-seed 42 -o clone.wav

speech speak "We need to discuss what happened." --engine breeze \
  --voice-sample reference.wav --breeze-reference-text "Exact transcript." \
  --instruct "Speak slowly, with a serious tone." --stream -o directed.wav

Swift API

import BreezeTTS

let model = try await BreezeTTSModel.fromPretrained()
let samples = try await model.generate(
    text: "The quick brown fox jumps over the lazy dog.",
    instruction: "A clear, calm English narrator.")

try await model.generateStreaming(text: "Hello, world!", instruction: "A warm voice.") { chunk in
    print(chunk.sampleRate, chunk.samples.count, chunk.isFinal)
}

选项

许可证

Derived from Breeze TTS 2 by BreezeBlue and licensed for research and non-commercial use only.

BreezeBlue Research and Non-Commercial License · Breeze TTS 2 MLX 8-bit · Breeze TTS 2 MLX BF16

源码与转换

speech-swift / BreezeTTS · export_breeze_mlx.py · WER / CER / RSS / TTFA / RTF