البنية

TTS أصلي بالتعليمات

ابنِ دعم SDK الأصلي من مصدر main. قد لا تتضمن إصدارات CLI الجاهزة، ومنها Homebrew، هذه المحركات بعد.

التنفيذ (PR #541): main

حزم MLX المنشورة: aufklarer/FireRedTTS3-Instruct-MLX-fp32 · aufklarer/MOSS-VoiceGenerator-MLX-bf16

FireRedTTS3-Instruct — FireRedTTS3TTS: يحتفظ FireRedTTS3-Instruct بأوزان Float32 للنموذج وفاكّ الترميز. يعيد الصوت كاملًا من الذاكرة: احذف --stream. يقبل --language أسماء الإنجليزية والصينية. بلوغ حد التوليد يسبب خطأ بدل اعتبار الصوت المبتور نجاحًا.

MOSS-VoiceGenerator — MossVoiceGeneratorTTS: يحتفظ MOSS-VoiceGenerator بأوزان لغة BF16 ومرمّز تركيب FP32. استخدم --stream لإخراج PCM تدريجي. احذف --language وضع متطلبات اللغة في --instruct. يُكمل الإنهاء جميع دفاتر الرموز الستة عشر.

يُحدّ كل من حقل النص وحقل التعليمات بـ 32,768 بايت UTF-8. يجب ألا يتجاوز الإدخال الكامل بعد تضمين القالب 4,096 رمزًا. تُرفض المدخلات التي تتجاوز أي حد.

لم تُقيّم جودة اتباع التعليمات بعد. تصف قياسات النصوص القصيرة الإعداد المختبَر؛ ولا تزال شهادة عدم تراجع زمن استجابة النماذج الحالية غير حاسمة.

speech speak "The quick brown fox jumps over the lazy dog." --engine breeze \
  --instruct "A clear, calm English narrator." --stream -o design.wav

speech-swift منظَّم كحزمة Swift وحدوية ذات بروتوكولات مشتركة، ووحدات نماذج مستقلة، وواجهة CLI موحَّدة. يجري كل الاستدلال على الجهاز باستخدام MLX (GPU Metal) أو CoreML (Neural Engine).

مخطط اعتماديات الوحدات

                    ┌──────────┐
                    │ AudioCLI │  (نقطة الدخول)
                    └────┬─────┘
                         │
                  ┌──────┴──────┐
                  │ AudioCLILib │  (الأوامر)
                  └──────┬──────┘
                         │
       ┌─────────┬───────┼───────┬──────────┬──────────────┐
       │         │       │       │          │              │
  ┌────┴───┐ ┌──┴──┐ ┌──┴──┐ ┌─┴────┐ ┌───┴────┐ ┌──────┴───────┐
  │Qwen3ASR│ │Qwen3│ │Cosy │ │Perso-│ │Speech- │ │  Speech-     │
  │Parakeet│ │ TTS │ │Voice│ │naPlex│ │  VAD   │ │Enhancement   │
  └────┬───┘ └──┬──┘ └──┬──┘ └──┬───┘ └───┬───┘ └──────┬───────┘
       │        │       │       │         │             │
       └────────┴───────┼───────┴─────────┘             │
                        │                               │
                 ┌──────┴──────┐                        │
                 │ Qwen3Common │  (طبقات مشتركة)        │
                 └──────┬──────┘                        │
                        │                               │
                 ┌──────┴──────┐                        │
                 │ AudioCommon │ ◄──────────────────────┘
                 └─────────────┘  (بروتوكولات، إدخال/إخراج صوتي)

MOSS Transcribe Diarize

يعيد MossTranscribe مقاطع مؤقتة منسوبة إلى المتحدثين عبر CoreML وMLX الأصليين. يستخدم CoreML حالة ثابتة من 1,024 token للتسجيلات القصيرة. ويستخدم MLX سياقا ديناميكيا من 131,072 token وأوزان مفكك affine INT5/INT8 وذاكرة KV اختيارية FP16/INT8. كلاهما يعمل دون اتصال وبفك ترميز ذاتي الانحدار، وليس بالبث.

VoiceChat 11B

المهمة والمرجع: ‏speech-to-speech ثنائي الاتجاه؛ SALM-Duplex: Efficient and Direct Duplex Modeling for Speech-to-Speech Language Model ‏(Interspeech 2025)، كما تستشهد به بطاقة VoiceChat الأصلية من NVIDIA.

runtime كامل، M5 Pro ‏48 GB، Release، إيقاع حي 80 ms: تبلغ ذروة RSS لـ INT5 برؤوس محمية نحو 8.69 GB؛ وكانت نتائج RTF المضبوطة للمسار الكامل 0.96 و‏0.96 و‏0.99. ولم يُعد قياس أداء INT8 المحسّن بعد.

ينفّذ VoiceChat مسار MLX الأصلي الكامل من الصوت إلى الصوت: إدراك FastConformer سببي، وقناتا النص/الوظيفة ثنائيتا الاتجاه في Nemotron-H، وفاك ترميز EAR-TTS مستقل مشروط بالنص مع ثماني دورات MaskGIT، ومرمّز عصبي بتردد 22.05 kHz. يحتفظ البث بذواكر مؤقتة محدودة للانتباه والالتفاف السببي لكل طبقة، بينما تستخدم نافذة المرمّز الحية الثابتة ذات الإطارات الثمانية رسماً مجمّعاً. ينتج كل إطار إدخال 80 ms قراراً لغوياً و31 رمز RVQ و1,764 عينة خرج بالضبط. يتطلب المحمّل bundle كاملاً من encoder/ + llm/ + tts/ ويرفض صادرات الفهم القديمة فقط. يحافظ INT5 الآن على RTF متوسط دون 1 على M5 Pro المختبَر، مع بقاء هامش p95 لكل إطار ضيقاً.

محرّكات الاستدلال الخلفية

صيغة أوزان النماذج

تستخدم نماذج MLX صيغة safetensors مع تكميم بـ 4 بت أو 8 بت (حجم المجموعة 64). تستخدم نماذج CoreML الصيغة المُجمَّعة .mlmodelc. تقوم سكربتات التحويل في scripts/ بالتحويل من نقاط حفظ PyTorch.

يوفّر Cohere وVoxtral أيضًا حزم MLX بتكميم INT5 التآلفي. لا يدعم MLX تكميم INT7 التآلفي؛ وINT8 هو خيار الجودة الأعلى المدعوم.

تهيئة نماذج MLX

ينشئ QuantizedLinear.preQuantized مصفوفات مؤقتة من الأصفار للطبقات الخطية المكمّمة التي تُحمّل أوزانها من نقطة تحقق، مما يجنب إنشاء أوزان عشوائية ومخططات تكميم مؤقتة لها. ويعزل withThrowawayRandomState تهيئة الفاصلة العائمة التي ستُستبدل عن سلسلة المفاتيح العشوائية للمستدعي. وتعزل أدوات تحميل النماذج المركبة كل مكوّن: T5 وEnCodec في MAGNeT، وT5Gemma وSAME-L في Stable Audio 3، ومرمّز Mimi في CSM. ولا تزال تضمينات CSM المكمّمة تستخدم أداة التهيئة الأصلية وتحتفظ بالقيد المعروف المتعلق بعمر مخطط التهيئة.

تحسينات الأداء

• MLX compile() — دمج النوى للحلقات ذاتية الانحدار. يستخدم Talker compile(shapeless: true)، ويستخدم Code Predictor compile(shapeless: false) بأحجام ذاكرة تخزين مؤقت ثابتة.
• مكتبة شيدرات Metal — يتجنّب metallib المُجمَّع مسبقًا حمل تجميع JIT بنحو 5x. يُبنى عبر scripts/build_mlx_metallib.sh.
• فك ترميز الكوديك بالأجزاء — يعالج مفكِّك TTS الكلامَ في أجزاء من 25 إطارًا مع تداخل سياق بـ 10 إطارات لتفادي انتهاء مهلة GPU.
• CFG بمضاعفة الدفعات — يقلِّص DiT في CosyVoice3 تمريرات flow matching إلى النصف بتجميع المشروط واللامشروط في دفعة واحدة.
• RoPE مدموج — يستخدم MLXNN.RoPE المدعوم بنواة Metal بدل التدوير اليدوي.
• دمج BN — تُدمج batch normalization في WeSpeaker ضمن أوزان Conv2d وقت التحويل.

معالجة الصوت

يستخدم كل إدخال/إخراج صوتي PCM بصيغة Float32. يتولّى إعادة العيّنات الداخلي تحويل الصيغ:

هيكل الكود المصدري

Sources/
  AudioCommon/            بروتوكولات مشتركة، إدخال/إخراج صوتي، التقاط إخراج
                          النظام (SystemAudioTap)، مُنزِّل HuggingFace،
                          SentencePieceModel (قارئ protobuf)
  MLXCommon/              أدوات MLX: تحميل الأوزان، مساعدات QuantizedLinear،
                          مساعد انتباه متعدّد الرؤوس SDPA، ميزانية metal
  Qwen3Common/            مكوّنات نماذج مشتركة (ذاكرة KV، RoPE، التكميم)
  Qwen3ASR/               Qwen3-ASR من الصوت إلى النص
  ParakeetASR/            Parakeet TDT من الصوت إلى النص (CoreML)
  ParakeetStreamingASR/   إملاء متدفّق Parakeet EOU 120M (CoreML)
  OmnilingualASR/         Meta wav2vec2 + CTC، 1,672 لغة
                          (CoreML 300M + MLX 300M / 1B / 3B / 7B)
  CohereTranscribeASR/  Cohere Transcribe 2B speech-to-text (MLX)
  VoxtralASR/            Voxtral Mini 3B speech-to-text (MLX)
  Qwen3TTS/               Qwen3-TTS من النص إلى الكلام
  FireRedTTS3TTS/         FireRedTTS3-Instruct (MLX, Float32)
  MossVoiceGeneratorTTS/  MOSS-VoiceGenerator (MLX, BF16 + FP32)
  CosyVoiceTTS/           CosyVoice3 من النص إلى الكلام
  KokoroTTS/              Kokoro-82M من النص إلى الكلام (CoreML)
  Qwen3Chat/              دردشة LLM على الجهاز Qwen3.5-0.8B (MLX + CoreML)
  PersonaPlex/            PersonaPlex من الكلام إلى الكلام
  SpeechVAD/              VAD (Silero + Pyannote)، فرز المتحدثين، تضمينات المتحدث
  SpeechLanguageID/       تحديد لغة الكلام (SpeechBrain ECAPA وMLX + CoreML و107 تسميات)
  SpeechEnhancement/      كبت الضوضاء DeepFilterNet3 (CoreML)
  SourceSeparation/       Open-Unmix HQ / UMX-L + HTDemucs (Demucs v4) music source separation (MLX, 4 stems)
  MAGNeTMusicGen/         MAGNeT text-to-music generation (MLX, 30 s @ 32 kHz, INT4/INT8)
  VoxCPM2TTS/             VoxCPM2 text-to-speech (MLX, 48 kHz, voice cloning + voice design)
  IndexTTS2TTS/           IndexTTS2 voice cloning (MLX, semantic GPT + emotion/tempo/pause control + S2Mel + BigVGAN)
  VibeVoiceTTS/           VibeVoice long-form / multi-speaker TTS (MLX, EN/ZH)
  MagpieTTS/              NVIDIA Magpie-TTS Multilingual 357M (MLX INT4/INT8,
                          9 languages, 5 baked speakers, streaming)
  MagpieTTSCoreML/        Magpie CoreML backend (4 .mlmodelc + Swift-side
                          FSQ inverse; 8 languages, batch-only; hybrid
                          with MagpieTTS for LocalTransformer + audio
                          embeddings)
  MADLADTranslation/      MADLAD-400 many-to-many translation (MLX, 400+ languages)
  GLiNER/                 GLiNER2.5-Decide classification + entity spans (MLX, INT8/FP16/FP32)
  AudioCLILib/            تنفيذات أوامر CLI
  AudioCLI/               نقطة دخول CLI

scripts/              تحويل النماذج (PyTorch → MLX/CoreML)، اختبارات الأداء
Tests/                اختبارات الوحدة والتكامل
Examples/             تطبيقات تجريبية (PersonaPlexDemo, SpeechDemo)

GLiNER2.5-Decide: تصنيف ومقاطع كيانات أصلية في MLX (أوزان INT8 أو FP16 أو FP32)؛ دون Python أثناء الاستدلال.

⚠ Translation out of date — English guide. The new Clef section below awaits translation.

Clef-flash: development preview of local text decisions (9B, affine 4-bit MLX), with a joint schema head and a separate output-embedding prior.