मानक अंग्रेज़ी पेज में नया 128K MLX long-form runtime, INT5/INT8 benchmarks और memory विवरण जुड़ चुके हैं। यह अनुवाद अभी मुख्यतः पुराने CoreML runtime का वर्णन करता है।
MOSS Transcribe Diarize 0.9B
यह Soniqo पेज स्थानीय speech-swift / speech-core implementation में MOSS Transcribe Diarize 0.9B को दस्तावेज़ करता है। Hugging Face bundle links integration notes के बाद दिए गए हैं।
Landing cards और docs menus पहले इसी पेज पर आते हैं; source model और bundle links यहीं उपलब्ध रहते हैं।
सारांश
| मॉडल | MOSS Transcribe Diarize 0.9B |
|---|---|
| भूमिका | मॉडल द्वारा बनाए speaker labels और timestamps के साथ batch transcription |
| Backend | Accelerate आधारित native Whisper frontend वाला CoreML |
| Output | सादा transcript और timestamp वाले speaker segments |
| भाषाएँ | बहुभाषी MOSS transcription मॉडल |
| लाइसेंस | इस्तेमाल से पहले source model और bundle की शर्तें जाँचें |
| स्थिति | speech transcribe --engine moss और MossTranscribe Swift product से उपलब्ध |
| Source | OpenMOSS-Team/MOSS-Transcribe-Diarize |
| Swift product | MossTranscribe |
| CLI / runtime | speech transcribe --engine moss |
उपयोग
नीचे का snippet मौजूदा speech-swift API या command से मेल खाता है।
# INT8 अनुशंसित डिफ़ॉल्ट है।
.build/release/speech transcribe recording.wav --engine moss
# FP16 reference।
.build/release/speech transcribe recording.wav --engine moss --model fp16मॉडल लिंक
- CoreML INT8 बंडल
- CoreML FP16 बंडल
- speech-swift मॉडल दस्तावेज़
- speech-swift inference दस्तावेज़
- speech-swift प्रदर्शन परीक्षण
implementation notes
- M5 Pro पर समान 80 अंग्रेज़ी clips benchmark में दोनों variants ने 8.16% aggregate WER और 5.90% CER प्राप्त किया।
- उल्टे क्रम में दो runs को मिलाने पर INT8 का RTF 0.070 (14.3× real-time) और FP16 का 0.079 (12.6×) रहा; sampled peak RSS क्रमशः 2.38–2.40 GB और 3.69–3.74 GB था।
- Swift runtime सटीक Whisper log-mel preprocessing, MOSS time-marker prompt, audio embedding injection, MLState cache updates, greedy decoding और structured output parsing संभालता है।
- INT8 audio encoder और decoder I/O को FP16 में रखता है तथा decoder पर symmetric linear INT8 block-32 quantization लागू करता है।
- Prompt और output एक निश्चित 1024-token context साझा करते हैं। वर्तमान runtime केवल batch mode में चलता है और --stream को अस्वीकार करता है।
MLX बफ़र कैश
वेट लोड करने से लेकर ट्रांसक्रिप्शन तक, MLX पूरे प्रोसेस के पुनः उपयोग योग्य बफ़र कैश को 2 GiB और भौतिक RAM के 25% में से छोटे मान तक सीमित रखता है। कॉलर की कम सीमाएँ बरकरार रहती हैं; 0 से कैश बंद होता है। MOSS और Qwen3-ASR यह बजट साझा करते हैं। आख़िरी मॉडल रिलीज़ होने पर कॉलर की पिछली सीमा बहाल होती है, बशर्ते कॉलर ने उपयोग के दौरान उसे बदला न हो।
यह सीमा केवल खाली पुनः उपयोग योग्य बफ़रों पर लागू होती है, कुल मेमोरी पर नहीं। सक्रिय KV टेंसर और ऑडियो डेटा रिकॉर्डिंग की लंबाई के साथ बढ़ते हैं; वेट और अन्य रनटाइम आवंटनों के लिए अतिरिक्त मेमोरी चाहिए।
वक्ता की संरचित जानकारी के लिए डिफ़ॉल्ट FP16 KV कैश इस्तेमाल करें। वर्तमान INT8 KV जाँच में दोनों वेट संस्करण मूल और सीमित रनटाइम पर वक्ता के लेबल छोड़ देते हैं। बफ़र कैश की सीमा इस अलग गुणवत्ता समस्या को ठीक नहीं करती।