⚠ 翻译内容待更新
英文规范页已加入新的 128K MLX 长音频运行时、INT5/INT8 基准测试和内存说明；此译文仍主要描述先前的 CoreML 运行时。
MOSS Transcribe Diarize 0.9B
此 Soniqo 页面记录本地 speech-swift / speech-core 实现中的 MOSS Transcribe Diarize 0.9B。Hugging Face 包链接放在集成说明之后。
先进入站内页面
首页卡片和文档菜单先指向这里；源模型和权重包链接仍在本页提供。
概览
| 模型 | MOSS Transcribe Diarize 0.9B |
|---|---|
| 用途 | 批量转写，并由模型生成说话人标签和时间戳 |
| 后端 | CoreML，使用基于 Accelerate 的原生 Whisper 前端 |
| 输出 | 纯文本转写以及带时间戳的说话人分段 |
| 语言 | 多语言 MOSS 转写模型 |
| 许可证 | 使用前请核对源模型及权重包的许可条款 |
| 状态 | 可通过 speech transcribe --engine moss 和 MossTranscribe Swift 产品使用 |
| 来源 | OpenMOSS-Team/MOSS-Transcribe-Diarize |
| Swift 产品 | MossTranscribe |
| CLI / 运行时 | speech transcribe --engine moss |
使用
下面的片段对应当前 speech-swift 仓库暴露的 API 或命令。
# 推荐默认使用 INT8。
.build/release/speech transcribe recording.wav --engine moss
# FP16 参考版本。
.build/release/speech transcribe recording.wav --engine moss --model fp16模型链接
实现说明
- 在 M5 Pro 上对齐测试 80 个英语片段：两个版本的整体 WER 均为 8.16%，CER 均为 5.90%。
- 两次反向顺序运行汇总后，INT8 的 RTF 为 0.070（14.3× 实时），FP16 为 0.079（12.6×）；采样峰值 RSS 分别为 2.38–2.40 GB 和 3.69–3.74 GB。
- Swift 运行时负责精确的 Whisper log-mel 预处理、MOSS 时间标记提示构建、音频嵌入注入、MLState 缓存更新、贪心解码和结构化输出解析。
- INT8 保留 FP16 音频编码器及解码器输入输出，并对解码器采用对称线性 INT8 block-32 量化。
- 解码器的提示与输出共享固定的 1024-token 上下文。当前运行时仅支持批量模式，并会拒绝 --stream。
MLX 缓冲区缓存
从加载权重到转写，MLX 将进程级可复用缓冲区缓存限制为 2 GiB 与物理内存的 25% 中较小的值。调用方设置的更低上限会保留，包括用 0 禁用缓存。MOSS 与 Qwen3-ASR 共享此预算；释放最后一个模型时会恢复调用方先前的上限，除非调用方在使用期间更改了它。
此限制仅针对未使用的可复用缓冲区，并非总内存上限。活动 KV 张量和音频数据仍随录音长度增长；权重和其他运行时分配还需要额外内存。
需要结构化说话人输出时，请使用默认的 FP16 KV 缓存。当前 INT8 KV 检查中，两种权重版本在原始运行时和限缓存运行时都会遗漏说话人标签；缓冲区缓存上限无法解决这一独立的质量问题。