FireRedTTS3-Instruct

Thử nghiệm

Biên dịch SDK native từ mã nguồn main. Homebrew và các bản CLI dựng sẵn khác có thể chưa bao gồm những engine này.

Thiết kế giọng bằng MLX thuần từ kịch bản chính xác và chỉ dẫn giọng nói. PCM đơn kênh 24 kHz, không cần bản ghi tham chiếu.

FireRedTTS3-Instruct giữ trọng số Float32 của mô hình và bộ giải mã. Âm thanh được trả trọn vẹn từ bộ đệm: bỏ --stream. --language chấp nhận bí danh tiếng Anh và tiếng Trung. Chạm giới hạn sẽ báo lỗi, không coi âm thanh bị cắt là thành công.

Biên dịch SDK từ mã nguồn

Triển khai (PR #541): main

git clone --single-branch --branch main https://github.com/soniqo/speech-swift.git
cd speech-swift
make build

Gói MLX đã công bố: aufklarer/FireRedTTS3-Instruct-MLX-fp32

Dòng lệnh

.build/release/speech speak "The weather is beautiful today." \
  --engine fireredtts3 \
  --fireredtts3-model-id aufklarer/FireRedTTS3-Instruct-MLX-fp32 \
  --instruct "A calm adult female voice, speaking warmly and clearly." \
  --seed 2 --output firered.wav

Cung cấp một văn bản, --instruct và đúng một thư mục gói hoặc ID mô hình tương thích. Không hỗ trợ âm thanh tham chiếu, người nói cố định hay đầu vào hàng loạt.

Mỗi trường văn bản và chỉ dẫn được giới hạn ở 32.768 byte UTF-8. Toàn bộ prompt đầu vào sau khi dựng, gồm cả mẫu, phải nằm trong 4.096 token. Đầu vào vượt một trong hai giới hạn sẽ bị từ chối.

Tùy chọn TTS theo chỉ dẫn

API Swift

import FireRedTTS3TTS

let model = try await FireRedTTS3Model.fromPretrained(
    modelId: "aufklarer/FireRedTTS3-Instruct-MLX-fp32")
let output = try await model.generateWithPlan(
    text: "The weather is beautiful today.",
    instruction: "A calm adult female voice, speaking warmly.")
let pcm = output.samples
model.unload()

Số đo chạy văn bản ngắn

M5 Pro, 48 GiB, Release. Mỗi ngôn ngữ dùng một đoạn trung tính ngắn; trung vị ba yêu cầu đã làm nóng sau yêu cầu đầu. Không gồm tải và xác minh trọng số; bộ nhớ đệm tệp đã làm nóng. RTF = thời gian chạy / độ dài âm thanh, càng thấp càng nhanh. Bộ nhớ vật lý là mức cao nhất của tiến trình khi tải và chạy bốn yêu cầu, theo GB thập phân.

Văn bảnÂm thanh (s)PCM hoàn chỉnh khi đã làm nóng (s)RTFBộ nhớ vật lý đỉnh (GB)
Tiếng Anh2.724.4991.65410.819
Tiếng Quan thoại5.2811.2212.12511.700

Phạm vi xác minh

Chất lượng làm theo chỉ dẫn chưa được chấm điểm. Số đo văn bản ngắn chỉ mô tả cấu hình đã thử; kiểm chứng hồi quy độ trễ vẫn chưa có kết luận.

TTS thuần theo chỉ dẫn

Nguồn