Nemotron 스트리밍

NVIDIA의 두 스트리밍 ASR 모델이 Swift 타깃 NemotronStreamingASR을 공유합니다. 둘 다 600M 파라미터의 cache-aware FastConformer 인코더와 RNN-T 디코더 조합이며, 둘 다 구두점과 대소문자를 일반 BPE 토큰으로 네이티브 출력하고, 둘 다 CoreML을 통해 Apple Neural Engine에서 실행됩니다. 다국어 버전은 추가로 GPU 상주 추론용 MLX 번들도 제공합니다. 애플리케이션에 맞는 것을 선택하세요:

공통 속성

• 네이티브 구두점·대소문자 — 후처리 불필요. 마침표·쉼표·케이스가 어휘의 일부
• 600M 파라미터 — cache-aware 24-레이어 FastConformer 인코더 + 2-레이어 LSTM RNN-T 디코더 + joint 네트워크
• Cache-aware 스트리밍 — attention과 conv 캐시가 chunk 간에 흘러 chunk 경계를 가로질러 컨텍스트를 유지
• 다양한 chunk 크기 — 다국어: 80, 320, 560, 1120 ms (기본 320 ms); 영어: 80, 160, 560, 1120 ms (기본 160 ms)
• 다국어 전용: prompt kernel (Linear 1152→2048→1024)이 one-hot 언어 슬롯을 인코딩된 모든 프레임에 통합하여, 동일한 가중치가 40개 언어-로케일 전체를 처리합니다. 영어 전용 버전에는 prompt kernel이 없습니다.

아키텍처

오디오 chunk마다 3개의 CoreML 모델이 파이프라인으로 실행됩니다:

EOU head 없음

Parakeet-EOU와 달리, Nemotron은 발화 종료 전용 토큰을 출력하지 않습니다. 연속 오디오를 발화로 분할하는 두 가지 방법:

1. 외부 VAD — 세션을 Silero VAD와 결합. 지속적인 무음 시 finalize()를 호출해 현재 발화를 커밋하고, 다음 발화를 위해 createSession() 호출.
2. 구두점 경계 — 부분 트랜스크립트가 ., ?, !로 끝나면 자연스러운 커밋 큐로 취급. 추가 모델은 필요 없지만, 오디오가 실제로 종결 구두점을 유도하는지에 달려 있음.

번들

Nemotron-3.5-ASR-Streaming-0.6B의 공개된 5개 버전과, 같은 Swift 타깃 위의 이전 영어 전용 모델:

업스트림: nvidia/nemotron-3.5-asr-streaming-0.6b (다국어) 및 nvidia/nemotron-speech-streaming-en-0.6b (영어 전용).

실제 캐시 인식 320 ms 경로에서 6개 FLEURS 언어의 평균 WER은 MLX 5-bit가 11.53%, MLX 8-bit가 11.01%입니다. 기본 5-bit는 디스크 약 193 MB와 최대 RSS 192 MB를 절약합니다. MLX 4-bit는 품질 저하가 더 커 연구용 내보내기로 남아 있습니다.

빠른 시작 — 네이티브 MLX 스트리밍

Swift 런타임은 공개된 MLX 5-bit 및 8-bit 번들을 지원합니다. 기본값은 5-bit이며, 각 세션의 캐시는 독립적이고 하나의 로드된 모델을 공유할 때 추론을 직렬화합니다. MLX는 검증된 320 ms 구성을 사용하며 현재 워드 부스팅은 제공하지 않습니다.

import NemotronStreamingASR

let model = try await NemotronStreamingASRMLXModel.fromPretrained(
    variant: .int5
)
let session = try model.createSession(language: "en-US")

for chunk in microphoneChunks16kHz {
    for partial in try session.pushAudio(chunk) {
        print(partial.text)
    }
}
let final = try session.finalize().last?.text

빠른 시작 — CoreML 배치 트랜스크립션

SpeechRecognitionModel을 준수하므로, 범용 STT 모델을 받는 어느 코드 경로에든 그대로 들어갑니다:

import NemotronStreamingASR

let model = try await NemotronStreamingASRModel.fromPretrained()
let text = try model.transcribeAudio(audioSamples, sampleRate: 16000, language: "en-US")

빠른 시작 — 비동기 스트리밍

for await partial in model.transcribeStream(audio: samples, sampleRate: 16000) {
    if partial.isFinal { print("FINAL: \(partial.text)") }
    else               { print("... \(partial.text)") }
}

각 PartialTranscript는 text, isFinal (finalize() 후 마지막 부분 결과에서만 true), confidence, 단조 증가하는 segmentIndex를 포함합니다.

장기 세션 API (마이크 입력)

let session = try model.createSession()

// each mic chunk:
let partials = try session.pushAudio(float32Chunk16kHz)
for p in partials { showPartial(p.text) }   // isFinal is false mid-stream

// when the utterance ends (VAD silence or explicit stop):
let trailing = try session.finalize()
for p in trailing { commit(p.text) }

명령줄

speech transcribe recording.wav --engine nemotron --language en-US                    # batch
speech transcribe recording.wav --engine nemotron --language en-US --stream           # streaming final
speech transcribe recording.wav --engine nemotron --language ja-JP --stream --partial # partials, Japanese
speech transcribe meeting.wav   --engine nemotron --language de-DE                    # any of the 40 locales

Nemotron vs Parakeet-EOU

회귀 테스트

겹치는 음성 회귀 테스트는 두 Kokoro 음성 중 두 번째를 320 ms 늦게 시작하고 3 dB 줄여 혼합한 저장소의 WAV 파일을 사용합니다. 매번 디코딩할 때 언어 태그가 없는 비어 있지 않은 전사 결과가 나와야 합니다. 고정 오디오는 실시간 합성의 변동성을 없애며, 야간 워크플로는 Nemotron을 별도 샤드에서 실행합니다. 야간 테스트와 동일한 CPU 전용 설정으로 Core ML 회귀 테스트를 실행하세요:

SPEECH_COREML_COMPUTE_UNITS=cpuOnly \
  swift test --disable-sandbox --no-parallel \
    --filter '^NemotronStreamingASRTests[.]E2ENemotronHarshAudioTests/'