Breeze TTS 2

audio_tokenizer/LICENSE · Apache-2.0 · Qwen/Qwen3-TTS-Tokenizer-12Hz

Apple M5 Pro · 48 GiB · TTFA / RTF / RSS

2026-10-30 · en · 8bit=3.20 s · bf16=3.20 s · seed=42 · CFG=4 · firstChunkFrames=3 · chunkFrames=25 · MLX cache=2 GiB · warm=3

MLX	TTFA p50	RTF	RSS (GiB)	Bộ nhớ vật lý tối đa (GiB)
8bit	178 ms	0.535	3.92	7.23
bf16	272 ms	0.868	6.06	9.22

WAV=45 · distinct=11 · 8bit PCM SHA256=baseline · unit=1933 · skipped=42 · E2E=15 · Qwen3-ASR-0.6B-MLX-4bit

BF16 đạt RTF 0.868 với câu ngắn (mốc gốc: 1.258) và 0.853 với đoạn 9.20 giây (mốc gốc: 1.280). Với một khung đầu, PCM đầu tiên đến sau 138 ms. Cả 11 dạng sóng cuối khác nhau có WER/CER chuẩn hóa bằng 0 qua ASR độc lập; đầu ra 8 bit với khối mặc định giống từng byte với mốc gốc. Làm tròn BF16 có thể đổi âm thanh cùng seed. Đặt SPEECH_SWIFT_BREEZE_GEMV=0 trước khi tải để so sánh đường chiếu ban đầu.

Để phát sớm, dùng một khung đầu, hai khung mỗi khối tiếp và bộ đệm MLX 1 GiB. Với đoạn 8 bit dài 9.04 giây, bộ đệm trước ước tính của CLI sẵn sàng ở 190 ms, không cần đệm thêm theo thời điểm đến đã ghi. Ước tính không gồm callback kết xuất và độ trễ thiết bị đầu ra.

2026-10-30 · 8bit · 9.04 s · firstChunkFrames=1 · chunkFrames=2 · MLX cache=1 GiB · PCM=103 ms · buffer=190 ms · RTF=0.761 · peak=6.10 GiB

speech speak "The quick brown fox jumps over the lazy dog." --engine breeze \
  --instruct "A clear, calm English narrator." --first-chunk-frames 1 \
  --chunk-frames 2 --breeze-cache-limit-mib 1024 --stream -o fast-start.wav

TTFA không gồm tải mô hình và phát qua loa. Kết quả tùy phần cứng, văn bản và thiết lập. Chính sách chung giới hạn bộ đệm MLX tái sử dụng ở giá trị nhỏ hơn giữa 2 GiB và một phần tư bộ nhớ vật lý, đồng thời tôn trọng ngân sách thấp hơn của ứng dụng. --breeze-cache-limit-mib có thể giảm trần tiến trình; 0 tắt bộ đệm này. Tensor đang hoạt động không bị giới hạn.

TTS tiếng Anh và tiếng Trung với thiết kế giọng, nhân bản và điều khiển giọng tham chiếu, phát âm thanh trực tuyến (MLX BF16/8-bit, 24 kHz; giấy phép nghiên cứu và phi thương mại).

BreezeTTS · 24,000 Hz · 16 × 2,048 · 80 ms · MLX BF16 / 8-bit

Cách dùng

speech speak "The quick brown fox jumps over the lazy dog." --engine breeze \
  --instruct "A clear, calm English narrator." --stream -o design.wav

speech speak "The weather is beautiful today." --engine breeze \
  --voice-sample reference.wav --breeze-reference-text "Exact transcript." \
  --breeze-seed 42 -o clone.wav

speech speak "We need to discuss what happened." --engine breeze \
  --voice-sample reference.wav --breeze-reference-text "Exact transcript." \
  --instruct "Speak slowly, with a serious tone." --stream -o directed.wav

Swift API

import BreezeTTS

let model = try await BreezeTTSModel.fromPretrained()
let samples = try await model.generate(
    text: "The quick brown fox jumps over the lazy dog.",
    instruction: "A clear, calm English narrator.")

try await model.generateStreaming(text: "Hello, world!", instruction: "A warm voice.") { chunk in
    print(chunk.sampleRate, chunk.samples.count, chunk.isFinal)
}

Tùy chọn

--breeze-model-id: aufklarer/Breeze-TTS-2-MLX-8bit
--breeze-bundle-dir
--breeze-cache-limit-mib: Giới hạn tùy chọn cho bộ nhớ đệm MLX tái sử dụng trên toàn tiến trình, tính bằng MiB; 0 tắt bộ nhớ đệm.
--breeze-reference-text
--breeze-temperature: 0.9
--breeze-top-k: 50
--breeze-top-p: 1
--breeze-cfg-scale: 4
--breeze-max-frames: 750
--breeze-seed: 42
--first-chunk-frames: 3
--chunk-frames: 25

Giấy phép

Derived from Breeze TTS 2 by BreezeBlue and licensed for research and non-commercial use only.

BreezeBlue Research and Non-Commercial License · Breeze TTS 2 MLX 8-bit · Breeze TTS 2 MLX BF16

Mã nguồn và chuyển đổi

speech-swift / BreezeTTS · export_breeze_mlx.py · WER / CER / RSS / TTFA / RTF