영문 기준 페이지에는 새로운 128K MLX 장문 런타임, INT5/INT8 벤치마크와 메모리 안내가 추가되었습니다. 이 번역은 아직 이전 CoreML 런타임을 주로 설명합니다.
MOSS Transcribe Diarize 0.9B
이 Soniqo 페이지는 로컬 speech-swift / speech-core 구현의 MOSS Transcribe Diarize 0.9B을 설명합니다. Hugging Face 번들 링크는 통합 메모 뒤에 있습니다.
랜딩 카드와 문서 메뉴는 먼저 이 페이지로 이동하고, 원본 모델과 번들 링크는 이 페이지 안에 둡니다.
개요
| 모델 | MOSS Transcribe Diarize 0.9B |
|---|---|
| 역할 | 모델이 생성한 화자 라벨과 타임스탬프를 포함하는 배치 전사 |
| 백엔드 | Accelerate 기반 네이티브 Whisper 프런트엔드를 사용하는 CoreML |
| 출력 | 일반 전사문과 화자별 타임스탬프 구간 |
| 언어 | 다국어 MOSS 전사 모델 |
| 라이선스 | 사용 목적에 맞게 원본 모델과 번들 약관을 확인하세요 |
| 상태 | speech transcribe --engine moss 및 MossTranscribe Swift 제품에서 사용 가능 |
| 소스 | OpenMOSS-Team/MOSS-Transcribe-Diarize |
| Swift 제품 | MossTranscribe |
| CLI / 런타임 | speech transcribe --engine moss |
사용
아래 스니펫은 현재 speech-swift 저장소의 API 또는 명령과 일치합니다.
# INT8이 권장 기본값입니다.
.build/release/speech transcribe recording.wav --engine moss
# FP16 참조 버전.
.build/release/speech transcribe recording.wav --engine moss --model fp16모델 링크
구현 메모
- M5 Pro의 동일한 영어 80개 클립 벤치마크에서 두 버전 모두 전체 WER 8.16%, CER 5.90%를 기록했습니다.
- 순서를 반대로 한 두 번의 실행을 합치면 INT8은 RTF 0.070(실시간의 14.3배), FP16은 0.079(12.6배)였고, 샘플링된 최대 RSS는 각각 2.38–2.40 GB와 3.69–3.74 GB였습니다.
- Swift 런타임은 정확한 Whisper log-mel 전처리, MOSS 시간 마커 프롬프트 구성, 오디오 임베딩 주입, MLState 캐시 갱신, 탐욕 디코딩 및 구조화 출력 파싱을 담당합니다.
- INT8은 오디오 인코더와 디코더 I/O를 FP16으로 유지하면서 디코더에 대칭 선형 INT8 block-32 양자화를 적용합니다.
- 프롬프트와 출력은 고정 1024-token 컨텍스트를 공유합니다. 현재 런타임은 배치 전용이며 --stream을 거부합니다.
MLX 버퍼 캐시
가중치 로딩부터 전사까지 MLX는 프로세스 전체의 재사용 버퍼 캐시를 2 GiB와 물리 RAM의 25% 중 작은 값으로 제한합니다. 캐시를 끄는 0을 포함하여 호출자가 설정한 더 낮은 한도는 유지됩니다. MOSS와 Qwen3-ASR는 이 예산을 공유하며, 마지막 모델을 해제하면 호출자가 사용 중에 한도를 변경하지 않은 경우 이전 한도로 복원합니다.
이 설정은 사용하지 않는 재사용 버퍼만 제한하며 전체 메모리 한도가 아닙니다. 활성 KV 텐서와 오디오 데이터는 녹음 길이에 따라 계속 증가하고, 가중치와 기타 런타임 할당에도 추가 메모리가 필요합니다.
구조화된 화자 출력에는 기본 FP16 KV 캐시를 사용하세요. 현재 INT8 KV 검사에서는 두 가중치 버전 모두 기존 런타임과 캐시 제한 런타임에서 화자 레이블을 누락합니다. 버퍼 캐시 한도는 이 별도의 품질 문제를 해결하지 않습니다.