Die kanonische englische Seite dokumentiert bereits die neue 128K-MLX-Laufzeit für lange Aufnahmen, INT5/INT8-Benchmarks und Speicherbedarf. Diese Übersetzung beschreibt noch überwiegend die frühere CoreML-Laufzeit.
MOSS Transcribe Diarize 0.9B
Diese Soniqo-Seite dokumentiert MOSS Transcribe Diarize 0.9B aus der lokalen speech-swift / speech-core-Implementierung. Hugging-Face-Bundles sind nach den Integrationshinweisen verlinkt.
Landing-Karten und Docs-Menüs führen zuerst hierher; Quellen- und Bundle-Links bleiben auf dieser Seite verfügbar.
Überblick
| Modell | MOSS Transcribe Diarize 0.9B |
|---|---|
| Rolle | Batchtranskription mit modellgenerierten Sprecherlabels und Zeitstempeln |
| Backend | CoreML mit nativem Accelerate-basiertem Whisper-Frontend |
| Ausgabe | Klartext-Transkript plus zeitgestempelte Sprechersegmente |
| Sprachen | Mehrsprachiges MOSS-Transkriptionsmodell |
| Lizenz | Bedingungen des Quellmodells und der Bundles für den vorgesehenen Einsatz prüfen |
| Status | Verfügbar über speech transcribe --engine moss und das Swift-Produkt MossTranscribe |
| Quelle | OpenMOSS-Team/MOSS-Transcribe-Diarize |
| Swift-Produkt | MossTranscribe |
| CLI / Laufzeit | speech transcribe --engine moss |
Verwendung
Das folgende Snippet entspricht der aktuellen API oder dem aktuellen Befehl aus speech-swift.
# INT8 ist die empfohlene Standardeinstellung.
.build/release/speech transcribe recording.wav --engine moss
# FP16-Referenz.
.build/release/speech transcribe recording.wav --engine moss --model fp16Modelllinks
- CoreML-INT8-Bundle
- CoreML-FP16-Bundle
- speech-swift-Modelldokumentation
- speech-swift-Inferenzdokumentation
- speech-swift-Benchmark
Implementierungsnotizen
- Abgestimmter Benchmark mit 80 englischen Clips auf einem M5 Pro: Beide Varianten erreichten 8,16% aggregierte WER und 5,90% CER.
- Über zwei Läufe in umgekehrter Reihenfolge gepoolt erreichte INT8 RTF 0,070 (14,3× Echtzeit), FP16 0,079 (12,6×); die gemessene Spitzen-RSS lag bei 2,38–2,40 GB bzw. 3,69–3,74 GB.
- Die Swift-Laufzeit übernimmt exakte Whisper-log-mel-Vorverarbeitung, MOSS-Zeitmarker-Prompt, Audio-Embedding-Injektion, MLState-Cache-Aktualisierung, Greedy-Decodierung und strukturierte Ausgabeanalyse.
- INT8 behält Audio-Encoder und Decoder-I/O in FP16 und quantisiert den Decoder symmetrisch linear mit INT8 block-32.
- Prompt und Ausgabe teilen einen festen 1024-Token-Kontext. Die aktuelle Laufzeit arbeitet nur im Batchmodus und lehnt --stream ab.
MLX-Puffercache
Vom Laden der Gewichte bis zur Transkription begrenzt MLX den prozessweiten Cache wiederverwendbarer Puffer auf den kleineren Wert aus 2 GiB und 25% des physischen RAM. Niedrigere Vorgaben des Aufrufers bleiben erhalten, einschließlich 0 zum Deaktivieren des Caches. MOSS und Qwen3-ASR teilen dieses Budget; nach Freigabe des letzten Modells wird das vorherige Limit wiederhergestellt, sofern der Aufrufer es während der Nutzung nicht geändert hat.
Dies begrenzt nur ungenutzte wiederverwendbare Puffer, nicht den gesamten Speicher. Aktive KV-Tensoren und Audiodaten wachsen weiterhin mit der Aufnahmelänge; Gewichte und weitere Laufzeitzuweisungen benötigen zusätzlichen Speicher.
Verwenden Sie für strukturierte Sprecherausgaben den standardmäßigen FP16-KV-Cache. Aktuelle INT8-KV-Prüfungen lassen bei beiden Gewichtsvarianten Sprecherlabels aus, sowohl mit der ursprünglichen als auch mit der begrenzten Laufzeit. Die Puffercache-Grenze behebt dieses separate Qualitätsproblem nicht.