음성 에이전트 평가: 발화 순서, 도구 호출, 표현력 있는 음성
A voice agent must determine when to speak, which action to take, and how its reply should sound. We measured these decisions separately, using local models and cloud API configurations. The results help us select components for private voice applications.
In our earlier survey of full-duplex speech and tools, we followed a spoken request through listening, interruption, tool execution, and synthesis. This post adds measurements. You can inspect the complete leaderboard and the saved snapshot behind these tables.
세 가지 판단을 위한 세 가지 측정
TurnBench
언제 말할 것인가
Turn end detection, false alarms, and decision latency.
SLURP 명령
어떤 작업을 실행할 것인가
Accurate action selection and argument accuracy.
InstructTTSEval
어떻게 말할 것인가
Adhering to a voice description, delivery direction, or role.
We measure these three abilities separately. An assistant can wait for you to finish speaking and still choose the wrong tool. It can also speak clearly while missing the emotion or style you requested.
로컬 모델은 메모리 48 GiB를 갖춘 Apple M5 Pro에서 실행했습니다. 클라우드 서비스의 경우, 결과에 나열된 모델 버전과 설정을 테스트했습니다.
Each section explains how many recordings we used, which languages we tested, and any results still being checked. These details help you compare the scores.
TurnBench: 쉼이 발화의 끝을 뜻하는 때
TurnBench는 화자가 발화를 마치는 것과 발화 도중 쉬는 것을 구분합니다. 또한 끼어들기와 “음흠” 같은 짧은 맞장구를 구분합니다. 아래 표는 발화 끝 탐지에 초점을 맞춥니다.
저희는 TurnBench의 공개 개발 녹음 자료와 자체 채점 코드를 사용했습니다. 표에는 각 모델의 실행 크기가 나와 있습니다. 공식 리더보드는 별도의 테스트 세트를 사용합니다.
The Recall is the share of actual turn endings the model detects. FPR (false-positive rate) is the share of labeled pauses within a turn that it incorrectly treats as the speaker finishing.
저희 리더보드는 Youden’s J(J = 재현율 − FPR)로 모델 순위를 매기며 J ×100으로 표시합니다. 값이 높을수록 좋습니다. 공식 테스트 리더보드는 재현율로 모델을 순위화하며, FPR이 15%를 초과하는 모델은 기준을 충족하는 모델보다 낮은 순위에 배치합니다.
| 구성 | 재현율 ↑ | FPR ↓ | 중앙값, ms | 평가 범위 |
|---|---|---|---|---|
| VAP (otoSpeech)로컬 CPU | 88.2% | 7.4% | 641 | 대화 5개; 턴 종료 238회 |
| Mimi endpointer로컬 CPU | 81.1% | 2.0% | 1,011 | 대화 5개; 턴 종료 238회 |
| OpenAI GPT-Realtime-mini, server VAD (1.8 s silence)클라우드 API | 82.3% | 4.5% | 2,005 | 대화 5개; 턴 종료 238회 |
| OpenAI GPT-Realtime-mini, semantic VAD (high eagerness)클라우드 API | 83.6% | 7.4% | 2,437 | 대화 5개; 턴 종료 238회 |
| Parakeet EOU 120M + Silero VAD장치 내 | 92.9% | 17.8% | 1,315 | 대화 5개; 턴 종료 238회 |
| Silero VAD + silence timeout장치 내 | 92.4% | 17.8% | 1,317 | 대화 5개; 턴 종료 238회 |
| p99 turn-1-mini 5.3M (CoreML FP32) + Silero VAD장치 내 | 90.5% | 16.0% | 1,506 | 대화 2개; 턴 종료 148회 |
| Smart Turn v3.2 + Silero VAD장치 내 | 87.4% | 16.3% | 1,639 | 대화 5개; 턴 종료 238회 |
| ElevenLabs Agents클라우드 API | 86.5% | 20.4% | 831 | 대화 3개; 턴 종료 193회 |
| Smart Turn v3장치 내 | 88.2% | 24.3% | 1,031 | 대화 5개; 턴 종료 238회 |
| OpenAI GPT-Live-1클라우드 API | 63.0% | 6.9% | 1,589 | 대화 5개; 턴 종료 238회 |
| Gemini 3.8 Live클라우드 API | 60.1% | 10.9% | 1,239 | 대화 5개; 턴 종료 238회 |
| WavLM-Base causal로컬 CPU | 54.6% | 13.9% | 573 | 대화 5개; 턴 종료 238회 |
| WavLM-Large causal로컬 CPU | 53.4% | 17.3% | 586 | 대화 5개; 턴 종료 238회 |
VAP가 저희의 5개 대화 비교에서 가장 높은 Youden’s J를 기록했습니다: 재현율 88.2%, FPR 7.4%. Mimi는 오탐지율이 2.0%로 더 적지만, 전환 종료를 포착하는 빈도가 낮고 결정하는 데 시간이 더 오래 걸립니다.
VAP (Voice Activity Projection)은 두 화자를 별도의 오디오 채널에서 청취하고 그들의 다가오는 음성 활동을 예측합니다. 이는 최근 대화를 사용하여 현재 화자가 계속할지 아니면 다른 사람에게 넘길지를 추정합니다. VAP에 대한 연구는 피치나 리듬과 같은 목소리 속의 단서들을 사용하는 법을 학습한다는 것을 보여줍니다.
저희가 사용한 버전은 otoSpeech의 104시간 분량의 대화 오디오로 추가 훈련되었습니다. 저희 해석으로는 이러한 훈련과 두 화자에 대한 시각이 비교에서 강력한 결과를 보이는 것을 설명하는 데 도움이 된다고 생각합니다.
저희는 또한 다운로드 가능한 p99 CoreML 모델과 두 VAP 내보내기를 2가지 개발 대화(턴 종료 148회 및 턴 내 일시 정지 94회)에 대해 고정된 결정 정책을 사용하여 테스트했습니다. p99는 15개의 오탐지와 함께 134개의 종료를 포착했고, 두 VAP 내보내기는 2개의 오탐지와 함께 124개를 포착했습니다. 각 내보내기는 원래 체크포인트와 동일한 이벤트 결정을 했습니다. 검증 프로토콜은 입력과 절단점을 기록합니다. VAP 행은 더 큰 5개 대화 실행을 유지합니다.
p99 CoreML 및 VAP CoreML 모델에는 speech-swift API가 있습니다. VAP ONNX는 C++ 및 Android 런타임을 통해 실행됩니다. 통합 가이드에는 다운로드와 오디오 입력이 포함되어 있습니다. 사용자의 애플리케이션이 응답 정책을 설정합니다.
SLURP: 음성 명령에 맞는 작업 선택
SLURP는 주석 처리된 작업 및 인수 값과 함께 음성으로 된 home-assistant 요청을 포함합니다. 저희 라우팅 테스트에서 각 녹음 파일은 10개의 후보 작업과 '작업 없음' 옵션을 가지고 있습니다.
저희의 1,000개 녹음 설정에는 올바른 작업이 사용 가능한 요청 810개와 해당 작업이 보류된 요청 190개가 포함되어 있습니다. 저희는 그 190개 요청에 대해서는 아무런 작업도 없을 것으로 예상합니다. 이는 모델이 작업을 사용할 수 없을 때 요청을 거부하는지 확인합니다.
대부분의 시스템은 근접 대화 및 원거리 오디오를 포함하여 1,000개의 녹음을 사용합니다. 원거리 마이크 정확도는 요청된 도구가 사용 가능한 상태에서 더 멀리서 녹음된 녹음 파일에 대한 올바른 선택을 측정합니다. 도구 누락에도 불구하고 호출은 주석 처리된 도구가 없었음에도 시스템이 작업을 반환한 요청 수를 계산합니다. 이는 근접 대화와 원거리 오디오를 통합하며, 배경 음성이나 침묵으로부터의 활성화는 측정하지 않습니다. 표에 정확한 개수가 나와 있습니다.
| 시스템 | 원거리 마이크 정확도 ↑ | 필요한 도구 없이 호출 ↓ | 인수 완전 일치 ↑ | 평가 규모 |
|---|---|---|---|---|
| OpenAI gpt-audio-1.5클라우드 API | 83.0% | 42.6%81/190 | 44.7% | 1,000개 녹음 |
| Amazon Nova 2.5 Sonic클라우드 API | 75.9% | 18.9%36/190 | 45.4% | 1,000개 녹음 |
| Parakeet → Gemma 4 E2B장치 내 | 75.2% | 46.3%88/190 | — | 1,000개 녹음 |
| Parakeet → TypeSafe Jev 1.13클라우드 API | 73.5% | 11.6%22/190 | — | 1,000개 녹음 |
| Parakeet → GLiNER2.5-Decide장치 내 | 73.5% | 39.0%74/190 | — | 1,000개 녹음 |
| Gemini 2.5 Flash클라우드 API | 73.0% | 17.4%33/190 | 40.6% | 1,000개 녹음 |
| Liquid d1-omni 600M장치 내 | 72.8% | 69.0%131/190 | — | 1,000개 녹음 |
| ElevenLabs Agents클라우드 API | 66.7% | 28.6%2/7 | 41.9% | 50개 녹음 |
| Mistral Voxtral Mini 3B장치 내 | 61.7% | 16.3%31/190 | 35.1% | 1,000개 녹음 |
| NeuDecide 55M장치 내 | 56.5% | 89.5%170/190 | 34.9% | 1,000개 녹음 |
| Parakeet → MiniLM router장치 내 | 50.8% | 5.8%11/190 | — | 1,000개 녹음 |
| Parakeet → FunctionGemma 270M장치 내 | 36.4% | 34.7%66/190 | 17.6% | 1,000개 녹음 |
로컬 Parakeet → Gemma 4 E2B 파이프라인은 far-mic 정확도에서 75.2%에 도달하여 Nova의 75.9%에 근접했지만 GPT Audio의 83.0%에는 미치지 못했습니다. 하지만 올바른 도구가 사용 불가능했던 190개 요청 중, Gemma는 여전히 88번 행동을 선택했는데, 이는 46.3%의 오활성화율입니다. 한 예로 “delete item”은 목록 제거가 불가능했음에도 불구하고 달력 제거를 선택했습니다. 또한 올바른 도구가 사용 가능했던 88개 요청을 거부하고 다른 69개에서 잘못된 도구를 선택했습니다.
Jev와 GLiNER 모두 지원되는 423개의 far-mic 요청 중 311개에서 올바른 도구를 선택하여 정확도 73.5%를 기록했습니다. 올바른 도구가 누락된 경우 행동이 변경됩니다: Jev는 여전히 190개 요청 중 22개(11.6%)에서 작업을 선택했지만, GLiNER는 74개(39.0%)에서 그렇게 했습니다. 예를 들어, GLiNER는 볼륨 도구가 없을 때 스피커 볼륨을 낮추라는 요청을 조명을 어둡게 하는 것으로 해석했습니다. 이러한 예시들은 요청된 것과 다른 작업을 선택했습니다. 더 광범위한 도구 설명도 중복될 수 있습니다: 레시피 요청이 일반 요리 도구로 전송될 수 있습니다. 저희의 계산은 주석이 달린 의도를 따르므로, 모든 대안이 의미적으로 부적절하다는 것을 입증하지는 않습니다.
Nova는 도구와 필요한 모든 인자 값을 일치시키는 데 있어 가장 높은 점수(45.4%, 810개 지원 요청 중 368개)를 기록했습니다. Nova는 643개의 요청에서 올바른 도구를 선택했지만, 그중 275개에서 인자가 일치하지 않았습니다. 147건에서는 값이 참조와 달랐고, 또 다른 128건에서는 적어도 하나의 인자가 누락되었으며, 때로는 값의 차이도 있었습니다.
가장 빈번한 값 불일치는 시간이었으며, 이 경우에 34건에서 나타났습니다. 또한 날짜 누락과 잘못된 필드 이름도 확인되었습니다. “이번 주”를 포함하는 알람 요청에 대해 Nova는 시간을 반환했지만 날짜는 생략했습니다. 일부 실패는 단어의 차이입니다: 엄격한 텍스트 비교 하에서는 “lasagna”가 참조의 “lasagne”와 일치하지 않습니다. 점수는 두 가지 종류의 불일치를 모두 계산합니다.
InstructTTSEval: 말하기 방식에도 고유한 실패가 있다
InstructTTSEval의 경우, 음성 스크립트는 고정하고 세 가지 유형의 지침을 사용하여 별도의 클립을 생성합니다:
- APS (Acoustic-Parameter Specification)는 피치, 속도, 볼륨 및 음성 질감과 같은 자세한 음성 설정을 제공합니다. 예를 들어: “낮은 피치, 느린 속도, 부드러운 볼륨 및 약간 숨소리가 섞인 목소리.”
- DSD (Descriptive-Style Directive)는 자연어로 전달 방식을 설명하며 일부 음성 특성은 열어둡니다. 예를 들어: “따뜻하고 안심시키는 어조로 말하세요.”
- RP (Role-Play)는 캐릭터나 상황을 제공하고 모델에게 어떻게 들릴지 추론하도록 요청합니다. 예를 들어: “불안한 환자를 안심시키는 의사입니다.”
각 유형의 백분율은 생성된 음성이 해당 지침을 얼마나 자주 따랐는지를 보여줍니다.
더 큰 코호트는 25개의 영어 및 25개의 중국어 소스 라인으로 구성되며, 각 시스템당 세 가지 확인이 있습니다: 총 150개 클립. Nova는 75개의 확인과 함께 25개의 영어 라인을 다룹니다. 전반적으로는 전체 통과 횟수를 전체 확인 횟수로 나눈 것이며, 작업 크기가 동일할 경우 APS, DSD 및 RP의 평균입니다. 저장된 Gemini Pro 심사관은 스타일 판결을 제공하고, 전사(transcription)는 말하는 단어를 별도로 확인합니다.
Original recordings는 벤치마크의 인간 소스 오디오입니다. 우리는 합성된 음성에 참조점을 주기 위해 동일한 지침과 심사관을 사용하여 150개 확인 실행에 대해 점수를 매깁니다. 그 73.3%는 심사관이 150개 지침 확인 중 110개를 수락했음을 의미합니다.
| 시스템 | 전체 | APS | DSD | RP | 범위 / 상태 |
|---|---|---|---|---|---|
| Qwen3-TTS 1.7B VoiceDesign (speech-swift)장치 내 | 76.7%23/30 | 70.0%7/10 | 100.0%10/10 | 60.0%6/10 | 영어 5개 + 중국어 5개 라인; 스타일 검사 30회 파일럿 · 다른 심사위원 설정 |
| 원본 녹음인간 참조 오디오 | 73.3%110/150 | 84.0%42/50 | 94.0%47/50 | 42.0%21/50 | 영어 25개 + 중국어 25개 라인; 스타일 검사 150회 참조 |
| Google Gemini 3.8 Flash TTS클라우드 API | 67.3%101/150 | 76.0%38/50 | 78.0%39/50 | 48.0%24/50 | 영어 25개 + 중국어 25개 라인; 스타일 검사 150회 측정된 |
| Breeze TTS 2 (speech-swift, BF16)장치 내 | 66.7%20/30 | 60.0%6/10 | 80.0%8/10 | 60.0%6/10 | 영어 5개 + 중국어 5개 라인; 스타일 검사 30회 파일럿 · 다른 심사위원 설정 |
| FireRedTTS3-Instruct (speech-swift, FP32)장치 내 | 65.3%98/150 | 68.0%34/50 | 78.0%39/50 | 50.0%25/50 | 영어 25개 + 중국어 25개 라인; 스타일 검사 150회 잠정적 · 검토 중인 심사위원 응답 1건 |
| ElevenLabs v4클라우드 API | 63.3%95/150 | 68.0%34/50 | 76.0%38/50 | 46.0%23/50 | 영어 25개 + 중국어 25개 라인; 스타일 검사 150회 검토 중인 입력 어댑터 |
| VoxCPM2 2B (speech-swift)장치 내 | 59.3%89/150 | 64.0%32/50 | 68.0%34/50 | 46.0%23/50 | 영어 25개 + 중국어 25개 라인; 스타일 검사 150회 잠정적 · 검토 중인 심사위원 응답 1건 |
| MOSS-VoiceGenerator (speech-swift, BF16 + FP32 codec)장치 내 | 56.0%84/150 | 52.0%26/50 | 76.0%38/50 | 40.0%20/50 | 영어 25개 + 중국어 25개 라인; 스타일 검사 150회 잠정적 · 검토 중인 심사위원 응답 1건 |
| Qwen3-TTS 1.7B CustomVoice (speech-swift)장치 내 | 52.7%79/150 | 54.0%27/50 | 64.0%32/50 | 40.0%20/50 | 영어 25개 + 중국어 25개 라인; 스타일 검사 150회 측정된 |
| Qwen3-TTS 0.6B CustomVoice (speech-swift)장치 내 | 48.0%72/150 | 48.0%24/50 | 60.0%30/50 | 36.0%18/50 | 영어 25개 + 중국어 25개 라인; 스타일 검사 150회 실험적 입력 · 검토 중인 심사위원 응답 1건 |
| Amazon Nova 2.5 Sonic (speech generation)클라우드 API | 40.0%30/75 | 32.0%8/25 | 56.0%14/25 | 32.0%8/25 | 영어 라인 25개; 스타일 검사 75회 영어만 |
| CosyVoice3 0.5B (speech-swift)장치 내 | 34.7%52/150 | 4.0%2/50 | 60.0%30/50 | 40.0%20/50 | 영어 25개 + 중국어 25개 라인; 스타일 검사 150회 입력 조건화 및 심사위원 응답 검토 중 |
| Fish Audio S2 Pro (speech-swift, BF16)장치 내 | 34.7%52/150 | 28.0%14/50 | 50.0%25/50 | 26.0%13/50 | 영어 25개 + 중국어 25개 라인; 스타일 검사 150회 잠정적 · 검토 중인 심사위원 응답 2건 |
일치하는 150개 체크 코호트에서 FireRedTTS3-Instruct는 65.3%를, MOSS-VoiceGenerator는 56.0%를 기록했습니다. Google의 TTS 실행 점수는 67.3%입니다. 75개의 영어 체크에서는 FireRed가 72.0%, MOSS가 52.0%, Google이 72.0%를 기록했습니다. VoxCPM2의 BF16 실행 결과는 59.3%로 유지되었으며, 역할극 결과인 46.0%는 음성 설명 및 지시 결과보다 낮은 수치입니다. 더 큰 Qwen CustomVoice 체크포인트는 52.7%를 기록하여, 작은 실험적 입력 실행의 48.0%와 비교되었습니다. 크기만으로는 점수를 결정할 수 없었습니다.
저희 ElevenLabs의 지시어-태그 변환은 요청된 노래 및 일부 감정 변화를 누락했습니다. CosyVoice3는 50개의 APS 클립 중 48개에서 단어 내용 체크에 실패했으며, 생성 설정에서도 공식 구현에 존재하는 참조 조건화(reference conditioning)가 생략되었습니다. 이러한 문제들은 여전히 수정된 입력 유효성 검사가 필요합니다. Fish의 수정된 실행 및 여러 다른 행에는 오디오를 사용할 수 없다고 주장하는 심사위원 응답이 포함되어 있습니다. 저희는 그러한 판결을 유지하고 영향을 받은 행은 잠정으로 표시합니다. 이것들은 업스트림 모델이 모든 구현에서 동일한 한계를 가진다는 발견이라기보다는, 저희 포트(ports), 입력 어댑터 및 심사위원에 대한 결과입니다.
인간 녹음에서 실패의 대부분은 역할극에 있습니다: 50개 체크 중 29개가 실패했으며, APS는 8개, DSD는 3개였습니다. 실제 녹음은 상세한 음성 설명을 담을 수 있지만 할당된 역할과 일치하지 않을 수 있으며, 심사위원도 실수를 할 수 있습니다. 참조 행은 저희가 지시어 점수를 해석하는 데 도움을 주지만, 인간 음성의 품질을 평가하는 것은 아닙니다.
음성 디자인을 합성 백엔드로 사용하기
Qwen의 VoiceDesign 체크포인트는 서면 설명으로부터 목소리를 생성합니다. CustomVoice는 대신 선택된 사전 설정 음성에 지시 사항을 적용합니다. 체크포인트와 제어 채널이 중요합니다: “instruction”이라는 필드는 모델에게 훈련받지 않은 능력을 부여하지 않습니다.
저희는 Qwen3-TTS 1.7B VoiceDesign과 Breeze TTS 2를 동일한 다섯 개의 영어 및 다섯 개의 중국어 소스에 테스트하여 모델당 30개의 체크를 제공했습니다. 네 개의 보정(calibration) 체크는 점수에서 제외되었습니다. 저희는 모델별로 하나의 구어(spoken-word) 플래그를 포함하여 모든 출력을 유지했습니다.
VoiceDesign은 23/30개, Breeze는 20/30개 검사를 통과했습니다. 세 과제가 같은 원본 녹음 10개를 공유하므로 이는 개발 단계의 예비 평가입니다. 대응 비교에서 차이는 10%포인트이지만, 원본 녹음별로 묶어 계산한 구간은 넓고 0을 포함합니다. 평가 모델 설정도 더 큰 평가 집단과 다르므로, 이 예비 실험은 VoiceDesign이 Google의 67.3% 결과보다 우수하다는 근거가 되지 않습니다.
벤치마크 결과가 아닌 음성 디자인 요청
읽을 텍스트: “Your delivery is scheduled for Friday morning.”
음성 개요: “따뜻한 어조, 명확한 발음, 여유로운 속도를 가진 성인 영국식 영어 내레이터.”
다른 전달 방식을 시도할 때 스크립트는 변경하지 마십시오. 설계된 음성과 승인된 참조의 클론은 다른 입력입니다. 전체 구절에 걸쳐 일관성을 테스트하십시오.
FireRedTTS3-Instruct와 MOSS-VoiceGenerator는 이제 위 표에서 각각 150개의 스타일 검사를 갖추고 있습니다. 별도의 콘텐츠 검사에서는 FireRed 클립의 경우 0/150, MOSS 클립의 경우 12/150이 단어 오류율 30%를 초과하여 플래그 지정되었습니다. 짧은 스크립트 실행 시간 샘플은 Space에 남아 있습니다. 따뜻한 영어 스크립트에 대한 첫 사용 가능한 PCM은 FireRed의 경우 약 4.50초, MOSS의 경우 0.47초였습니다. FireRed는 완전한 파형을 반환하는 반면 MOSS는 스트리밍합니다. 이러한 타이밍은 지침 품질이나 일치하는 품질-속도 순위를 확립하지 못합니다. 기존 모델의 지연 시간 및 메모리 인증은 여전히 결론이 나지 않았습니다.
발화 순서 연구는 끝 지점 탐지를 넘어선다
연구 스냅샷: 2026년 10월 30일. 공식 TurnBench 홀드아웃 보드에는 논문의 원래 기준선보다 더 최신 제출물이 포함되어 있습니다. p99의 시스템 설명서는 6.1백만 개의 학습된 파라미터, 추가 분류 헤드 및 두 오디오 채널을 모두 사용하는 턴 정책을 설명합니다. 이의 Apache 2.0 다운로드에는 5.3백만 개 파라미터의 모노 모델이 포함되어 있습니다. 저희의 대화 순서 관리표에는 해당 다운로드 가능한 체크포인트가 포함되어 있습니다.
LiveKit의 eot-bench는 14개 언어에서 실제 인간 대 에이전트 턴으로 이를 보완합니다. 이는 종료 지점 정책을 스윕하고 전체 트레이드오프 곡선을 포함하여 고정된 거짓 차단 예산에서 지연 시간을 비교합니다. 이는 다국어 제품에 유용한 다음 단계입니다. 왜냐하면 영어에서 작동하는 임계값이 다른 언어에 적합하지 않을 수 있기 때문입니다.
MultiPartyTurnBench는 이번 달에 제출되었으며, 플로어 제어를 2명에서 5명의 화자까지 확장합니다. 이의 저자들은 평가된 에이전트에 대해 강력한 턴 진입 성능과 거의 우연 수준의 선택적 중단 처리를 보고했습니다. 생성된 대화는 실제 오디오 검사가 병행되어야 하는 통제된 테스트를 제공합니다. 회의 및 공유 공간은 두 화자 종료 규칙을 확장하는 것 이상을 필요로 합니다.
Full-Duplex-Bench v3는 실제 유창하지 않은 음성과 체인형 도구 호출을 짝지어 자체 수정 및 다단계 실패를 노출합니다. 이번 달에 제출된 DuplexAct는 상호 작용 동작과 에이전트가 후속 조치를 취하는지를 평가합니다. 우리는 이를 이벤트 감지와 유용한 상호 작용 완료 사이의 격차에 대한 보완적인 테스트로 간주합니다. 저희는 이 새로운 벤치마크들을 본 게시물에서 실행하지 않았습니다.
프라이빗 합성, 연출 지시에 따른 더빙, 영어 음성 선택
Soniqo의 개인 런타임 및 온디바이스 SDK는 자체 환경에서 음성 애플리케이션을 위한 빌딩 블록을 제공합니다. 저희는 표현력이 풍부한 합성 및 감정적으로 지향된 더빙 파이프라인을 구축하는 팀과 협력합니다: 의도된 단어를 유지하고, 목소리를 선택하고, 전달 브리핑을 제공한 다음, 문맥에서 결과를 검토합니다.
턴 정책 및 도구 실행은 분리된 상태로 합성 단계에 음성 디자인 백엔드를 연결할 수 있습니다. 내레이션 장면의 경우, 애플리케이션은 감독의 제어 없이 감정을 추론하고 성능을 변경하는 대신 차분한 안심이나 고조되는 긴급성을 지정할 수 있습니다. 더빙 워크플로우 또한 타이밍, 화자 연속성 및 청취 검토가 필요합니다. 위의 세 가지 벤치마크는 그러한 전체 워크플로우를 인증하지 않습니다.
Kokoro 카탈로그에는 미국식 및 영국식 사전 설정 음성이 포함되어 있습니다. 스타일 인식 백엔드는 자연어 음성 브리프를 추가합니다. 사전 설정 선택, 음성 디자인 및 클로닝은 별개의 제어이며 지원 여부는 모델마다 다릅니다. 요청된 지역 억양은 해당 변종에 익숙한 청취자에게 평가가 필요하며, 전사 정확도와 화자 유사성이 진정성을 입증하지는 않습니다.
로컬 백엔드 및 모델 에셋이 제공되면 합성 작업을 배포 환경 내에서 유지할 수 있습니다. 정확한 배포 및 모델 선택은 대상 하드웨어와 모델의 약관에 따라 달라집니다. 연구용 벤치마크 데이터와 제한된 모델 가중치는 포괄적인 상업 라이선스가 아닙니다.
인프라에서 음성 워크플로우를 구축하세요
대상 플랫폼, 언어 및 억양 요구 사항, 음성 권한 및 필요한 전달 예시를 가져오세요. 해당 작업 부하에 맞춰 런타임, 합성 백엔드 및 평가 범위를 설정할 수 있습니다.
개인용 음성 배포 알아보기이 측정이 뒷받침하는 선택
- 작동 지점에 따라 턴 정책을 선택하세요. 저희 개발 슬라이스에서는 VAP와 Mimi가 서로 다른 재현율, 오경보율 및 지연 시간 트레이드오프를 제공합니다. 현재 보류된 연구는 기존 기준선보다 더 나아갔습니다.
- 완전한 도구 요청 수를 계산하세요. 저희 10개 액션 설정에서 Nova는 지원되는 643개 요청 중 올바른 도구를 선택했으며, 368개도 일치하는 인수를 가졌습니다. 잘못된 값과 누락된 필드가 차이를 차지했습니다.
- 지침 유형별로 전달을 테스트하세요. 역할극은 여러 실행에서 약한 영역입니다. VoiceDesign 파일럿은 새로운 전반적인 우승자를 주장하기보다는 더 큰 일치 비교가 필요합니다.
다음 유용한 측정 항목은 매칭된 심사를 거친 더 큰 VoiceDesign 코호트, 고정된 절단율에서의 다국어 엔드포인팅, 그리고 최종 도구 호출까지 수정 사항을 전달하는 상호 작용 테스트입니다. 생산 음성 작업에 대한 자동 점수와 함께 억양, 자연스러움 및 성능 연속성에 대한 인간 검토가 필요합니다.
실시간 결과 및 프로토콜을 읽고, speech-swift를 탐색하거나, 개인 배포에 대해 논의하세요. 위의 표에는 연결된 스냅샷의 실행 크기 및 설정이 유지됩니다.