FireRedTTS3-Instruct

تصميم صوت عبر MLX أصلي انطلاقًا من النص الدقيق وتعليمات الصوت. خرج PCM أحادي بتردد 24 kHz دون الحاجة إلى تسجيل مرجعي.

يحتفظ FireRedTTS3-Instruct بأوزان Float32 للنموذج وفاكّ الترميز. يعيد الصوت كاملًا من الذاكرة: احذف --stream. يقبل --language أسماء الإنجليزية والصينية. بلوغ حد التوليد يسبب خطأ بدل اعتبار الصوت المبتور نجاحًا.

بناء SDK من المصدر

التنفيذ (PR #541): main

git clone --single-branch --branch main https://github.com/soniqo/speech-swift.git
cd speech-swift
make build

حزم MLX المنشورة: aufklarer/FireRedTTS3-Instruct-MLX-fp32

سطر الأوامر

.build/release/speech speak "The weather is beautiful today." \
  --engine fireredtts3 \
  --fireredtts3-model-id aufklarer/FireRedTTS3-Instruct-MLX-fp32 \
  --instruct "A calm adult female voice, speaking warmly and clearly." \
  --seed 2 --output firered.wav

قدّم نصًا واحدًا و--instruct ودليل حزمة أو معرّف نموذج متوافق، أحدهما فقط. الصوت المرجعي والمتحدثون الثابتون وإدخال الدفعات غير مدعومة.

يُحدّ كل من حقل النص وحقل التعليمات بـ 32,768 بايت UTF-8. يجب ألا يتجاوز الإدخال الكامل بعد تضمين القالب 4,096 رمزًا. تُرفض المدخلات التي تتجاوز أي حد.

خيارات TTS بالتعليمات

واجهة Swift

import FireRedTTS3TTS

let model = try await FireRedTTS3Model.fromPretrained(
    modelId: "aufklarer/FireRedTTS3-Instruct-MLX-fp32")
let output = try await model.generateWithPlan(
    text: "The weather is beautiful today.",
    instruction: "A calm adult female voice, speaking warmly.")
let pcm = output.samples
model.unload()

قياسات تشغيل لنصوص قصيرة

M5 Pro، ذاكرة 48 GiB، إصدار Release. نص محايد قصير لكل لغة؛ وسيط ثلاثة طلبات بعد الأول. لا يشمل التحميل والتحقق من الأوزان؛ ذاكرة الملفات المؤقتة مهيأة. RTF = زمن التشغيل / مدة الصوت، والأقل أسرع. الذاكرة الفعلية أعلى قيمة للعملية أثناء التحميل وأربعة طلبات، بوحدة GB العشرية.

نطاق التحقق

لم تُقيّم جودة اتباع التعليمات بعد. تصف قياسات النصوص القصيرة الإعداد المختبَر؛ ولا تزال شهادة عدم تراجع زمن استجابة النماذج الحالية غير حاسمة.

TTS أصلي بالتعليمات

المصادر

• FireRedTTS3
• Speech Swift