音声エージェントの評価：ターン交替、ツール呼び出し、表現豊かな音声

3つの判断を3つの測定で評価

これら3つの能力を個別に測定します。アシスタントは、あなたが話し終わるのを待っていても、誤ったツールを選択する可能性があります。また、要求された感情やスタイルを欠いたまま明確に話すこともできます。

ローカルモデルはApple M5 Pro（メモリ 48 GiB）で実行しました。クラウドサービスについては、結果に記載されているモデルバージョンと設定でテストを行いました。

各セクションでは、使用した録音数、テストした言語、およびまだ確認中の結果について説明しています。これらの詳細はスコアを比較するのに役立ちます。

TurnBench：間がターンの終わりになるとき

TurnBench は、発話の終了とターン内の間を区別します。また、割り込みと「うんうん」のような相づちも区別します。以下の表ではターン終了の検出に焦点を当てています。

我々はTurnBenchの公開開発録音と独自の採点コードを使用しました。表は各モデルの実行サイズを示しています。公式リーダーボードは別のテストセットを使用します。

再現率 (Recall) は、モデルが検出した実際のターン終了の割合です。FPR (偽陽性率) は、ターン内のラベル付けされたポーズのうち、誤って話者が話し終えたものとして扱われた割合です。

我々のリーダーボードは、Youden’s J（J = 再現率 − FPR）でモデルを順位付けし、J ×100 として表示します。値が高いほど良好です。公式テストリーダーボードは再現率でモデルをランク付けし、FPRが15%を超えるものは制限を満たすものより下位に配置します。

VAPは、我々の5つの会話比較において最も高い Youden’s Jを示しました。再現率は88.2%、FPRは7.4%です。Mimiは偽の検出が少なく（2.0%）、より少ないターン終了を捉え、判断に時間がかかります。

VAP (Voice Activity Projection)は、2人の話者を別々の音声チャネルでリッスンし、彼らの今後の発話活動を予測します。これは、最近の会話を利用して、現在の話者が続けるか、それとも相手に引き継ぐかを推定します。VAPに関する研究では、ピッチやリズムといった声の合図を利用することを学習することが示されています。

実行したバージョンは、otoSpeechからの会話音声104時間でさらにトレーニングされました。我々の解釈では、このトレーニングと両話者に対する視点が、比較におけるその強力な結果を説明するのに役立っていると考えています。

また、ダウンロード可能なp99 CoreMLモデルと、2つの開発会話（ターン終了が148回、ターン内のポーズが94回）に対して、固定の決定ポリシーを用いて両方のVAPエクスポートをテストしました。p99は134回の終了を15件の誤検出で捉えました。一方、両方のVAPエクスポートは2件の誤検出で124回を捉えました。各エクスポートは、元のチェックポイントと同じイベント決定を行いました。検証プロトコルは入力とカットオフを記録します。VAPの行には、より大規模な5会話分の実行結果が保持されています。

p99 CoreMLとVAP CoreMLモデルにはspeech-swift APIがあります。VAP ONNXはC++およびAndroidランタイムを介して実行されます。統合ガイドには、ダウンロードと音声入力について記載されています。アプリケーションが応答ポリシーを設定します。

SLURP：音声コマンドから操作を選ぶ

SLURPには、アノテーションされたアクションと引数値を持つ、発話されたhome-assistantのリクエストが含まれています。我々のルーティングテストでは、各録音に10個の候補アクションと「アクションなし」のオプションが付属しています。

我々の1,000件の録音セットアップには、正しいアクションが利用可能なリクエストが810件、そのアクションが保留されているものが190件含まれています。この190件のリクエストに対しては、アクションがないことを期待しています。これは、モデルがアクションを利用できない場合にリクエストを拒否するかどうかを確認するものです。

ほとんどのシステムは、クローズトークとファアフィールドオーディオを含む1,000件の録音を使用します。ファアマイク精度は、要求されたツールが利用可能な状況で、より遠くから録音されたものに対する正しい選択を測定します。ツール欠如時の呼び出しは、アノテーションされたツールが存在しなかったにもかかわらずシステムがアクションを返したリクエストの数を数えます。これはクローズトークとファアフィールドの録音をプールし、背景音声や無音からのアクティベーションは測定しません。表に正確なカウントを示します。

ローカルのParakeet → Gemma 4 E2Bパイプラインは、far-mic精度で75.2%に達し、Novaの75.9%に近く、GPT Audioの83.0%には及びませんでした。しかし、正しいツールが利用できない190のリクエストのうち、Gemmaは依然として88回アクションを選択しました。これは46.3%の誤作動率です。一例として、「アイテムを削除」の場合、リスト削除が利用不可能であったため、カレンダー削除を選択しました。また、正しいツールが利用可能であったにもかかわらず、間違ったツールを選択したリクエストが69件あり、88件のリクエストを拒否しました。

JevとGLiNERは、サポートされている423のfar-micリクエストのうち311で正しいツールを選択し、73.5%の精度を示しました。正しいツールが欠落している場合、その動作は変化します。Jevは190のリクエストのうち22（11.6%）でアクションを選択し続けましたが、GLiNERは74（39.0%）でそれを行いました。例えば、GLiNERはボリュームツールが存在しない場合に、話者音量を下げるというリクエストを照明を調光することと解釈しました。これらの例では、要求されたものとは異なるアクションが選択されました。より広範なツールの説明も重複する可能性があります。レシピのリクエストが一般的な調理ツールに送信される場合があります。我々のカウントはアノテーションされた意図に従うため、すべての代替案が意味的に不合理であったことを示すものではありません。

Novaは、ツールと必要なすべての引数値を一致させたスコアが最も高く、45.4%、すなわち810のサポートリクエストのうち368でした。正しいツールを643のリクエストで選択しましたが、そのうち275で引数が一致しませんでした。147ケースでは値が参照と異なり、さらに128ケースでは少なくとも1つの引数が省略されており、時には値の違いも伴いました。

最も頻度の高い値の不一致は時間であり、これには34のケースで現れました。また、日付の欠落やフィールド名の誤りが確認されました。「今週」を含むアラームリクエストに対し、Novaは時刻を返しましたが日付を省略しました。一部の失敗は言葉遣いの違いによるものです：「lasagna」は厳密なテキスト比較の下では参照の「lasagne」と一致しません。スコアはこれら両方の種類の不一致を数えています。

InstructTTSEval：話し方にも固有の失敗がある

InstructTTSEvalでは、話されたスクリプトを固定し、3種類の指示を使用して個別のクリップを生成します：

• APS (Acoustic-Parameter Specification)は、ピッチ、ペース、音量、声の質感など、詳細な音声設定を提供します。例えば：「低めのピッチ、ゆっくりとしたペー;
• DSD (Descriptive-Style Directive)は、自然言語で話し方を記述し、一部の音声特性を未定のままにします。例えば：「暖かく安心させるように話す。」
• RP (Role-Play)は、キャラクターや状況を提供し、モデルにどのように聞こえるかを推論するように求めます。例えば：「不安な患者を慰める医者だ。」

各タイプのパーセンテージは、生成された音声がその指示に従った頻度を示します。

より大きなコホートには、25の英語と25の中国語のソースラインが含まれ、それぞれ3つのチェックが行われます。システムごとに150クリップです。Novaは25の英語ラインをカバーし、75のチェックを行います。全体は総合格点数を総チェック数で割ったものであり、タスクサイズが等しい場合、APS、DSD、RPの平均値となります。保存されたGemini Proの審判がスタイル判定を提供し、転写が話された単語を個別にチェックします。

オリジナル録音は、ベンチマークの人間によるソース音声です。これらは、合成された音声に参照点を与えるために、150件のチェック実行に使用されたものと同じ指示と判断基準で採点されます。73.3%という数値は、評価モデルが150件の指示チェックのうち110件を受け入れたことを意味します。

一致した150チェックのコホートでは、FireRedTTS3-Instructが65.3%、MOSS-VoiceGeneratorが56.0%のスコアを記録しました。GoogleのTTS実行は67.3%でした。75の英語チェックでは、FireRedが72.0%、MOSSが52.0%、Googleが72.0%でした。VoxCPM2のBF16実行は59.3%に留まりました。そのロールプレイの結果（46.0%）は、音声記述および指示の結果よりも劣っています。より大きなQwen CustomVoiceチェックポイントは52.7%を記録し、対照的に小規模な実験的入力実行では48.0%でした。サイズだけがスコアを決定するわけではありません。

当社のElevenLabsの指示からタグへの変換は、要求された歌唱や一部の感情の変化を低下させました。CosyVoice3は50個のAPSクリップのうち48個で単語内容チェックに失敗し、その生成設定には公式実装に含まれる参照条件付けが欠落していました。これらの問題については、入力検証の修正が必要です。Fishの修正実行や他のいくつかの行には、音声が利用できないと主張する評価モデルの回答が含まれており、我々はそれらの評決を保持し、影響を受ける行を暫定としてマークします。これらは、アップストリームモデルがすべての実装で同じ限界を持つという発見ではなく、我々のポート、入力アダプター、および評価モデルに関する結果です。

人間の録音におけるほとんどの失敗はロールプレイにあります。APSでは8件、DSDでは3件と比較して、50チェックのうち29件が失敗しています。実際の録音は詳細な音声記述を再現できる場合がありますが、割り当てられた役割と一致しない場合があり、評価モデルも誤りを犯す可能性があります。参照行は指示スコアの解釈に役立ちますが、人間の発話の質を評価するものではありません。

声のデザインを音声合成バックエンドにする

QwenのVoiceDesignチェックポイントは、書かれた記述から音声を生成します。一方、CustomVoiceは選択されたプリセット音声に指示を適用します。チェックポイントと制御チャネルが重要です。「instruction」という名前のフィールドは、モデルが訓練されていない能力を与えるものではありません。

我々はQwen3-TTS 1.7B VoiceDesignとBreeze TTS 2を同じ5つの英語および5つの中国語のソースでテストし、各モデルにつき30チェックを行いました。キャリブレーションチェックのうち4つはスコアに含まれていません。我々は、モデルごとに発話単語フラグを含むすべての出力を保持しました。

VoiceDesign は 23/30 件、Breeze は 20/30 件のチェックに合格しました。3種類のタスクで同じ10件の元録音を使っているため、これは開発段階の予備評価です。対応のある差は10ポイントですが、元録音ごとにまとめて求めた区間は広く、ゼロを含みます。評価モデルの設定も大規模な比較群とは異なるため、この予備実験だけでは VoiceDesign が Google の67.3%を上回るとはいえません。

FireRedTTS3-InstructとMOSS-VoiceGeneratorは、上記の表でそれぞれ150のスタイルチェックを備えています。個別のコンテンツチェックでは、Word errorが30%を超えるクリップについて、FireRedは0/150、MOSSは12/150を検出しました。それらの短いスクリプト実行時間サンプルはSpaceに残っています。温かい英語スクリプトでの最初の利用可能なPCMは約4.50秒（FireRed）と0.47秒（MOSS）でした。FireRedは完全な波形を返すのに対し、MOSSはストリーミングします。これらのタイミングは、指示の品質や一致した品質-速度ランキングを確立するものではありません。既存モデルのレイテンシおよびメモリ認証は依然として結論が出ていません。

ターン交替研究は終端検出の先へ

研究動向の基準日は2026年10月30日です。テスト用データに基づく公式 TurnBench ランキングには、論文の当初のベースライン以降に提出された新しいシステムも含まれています。p99 のシステム解説では、6.1M の学習済みパラメータ、追加の分類ヘッド、両方の音声チャネルを使うターン交替方針が説明されています。Apache 2.0 でダウンロードできるモデルは、5.3M パラメータのモノラル版です。今回のターン交替の表には、このダウンロード可能なモデルを含めています。

「LiveKitのeot-bench」は、14言語における実際の人間からエージェントへのターンでこれを補完します。これはエンドポインティングポリシーをスイープし、完全なトレードオフ曲線を含め、固定された偽カットオフ予算でのレイテンシを比較します。これは多言語製品にとって有用な次のステップです。なぜなら、英語で機能する閾値が他の言語に適しているとは限らないからです。

今月提出された「MultiPartyTurnBench」は、フロア制御を2人から5人の話者に拡大しました。その作成者は、評価されたエージェントに対して、強いターン開始性能とほぼ偶然の選択的割り込み処理能力を報告しています。生成された会話は管理されたテストを提供し、それらと並行して実際の音声チェックが必要です。会議や共有ルームには、2人でのエンドポイントルールを拡張する以上のものが必要です。

「Full-Duplex-Bench v3」は、実際の流暢でない音声と連鎖したツール呼び出しをペアリングし、自己修正や複数ステップの失敗を露呈させます。「DuplexAct」も今月提出され、対話アクションとエージェントがそれらをやり遂げるかどうかを評価します。これらは、イベントを検出することと有用な対話を完了させることのギャップに対する補完的なテストであると考えています。この投稿では、これらの新しいベンチマークは実行していません。

プライベート音声合成、演出付き吹き替え、英語の声の選択

SoniqoのプライベートランタイムおよびオンデバイスSDKは、独自の環境で音声アプリケーションのためのビルディングブロックを提供します。私たちは、表現力豊かな合成と感情的に指向したダビングパイプラインを構築するチームと協力しています：意図された単語を保持し、声を選択し、デリバリーの概要を提供し、次にコンテキスト内で結果を確認します。

ターンポリシーとツール実行を分離したまま、合成ステージにボイスデザインバックエンドをプラグインできます。ナレーションされたシーンの場合、アプリケーションは感情を推論してパフォーマンスを変更するのではなく、落ち着いた安心感または高まる緊急性を指定できます。ダビングワークフローもタイミング、話者の連続性、およびリスニングレビューを必要とします。上記の3つのベンチマークはいずれも完全なワークフローを認証するものではありません。

英語の音声選択肢には、Kokoroカタログ内のアメリカ式およびイギリス式のプリセットボイスが含まれます。スタイル認識型のバックエンドは、自然言語による音声ブリーフを追加します。プリセットの選択、ボイスデザイン、クローニングは個別の制御であり、サポートはモデルによって異なります。要求された地域アクセントは、そのバリエーションに精通したリスナーによる評価が必要です。書き起こしの精度と話者類似度が真正性を証明するものではありません。

ローカルバックエンドとモデルアセットがプロビジョニングされていれば、合成をデプロイメント環境内に留めることができます。正確なデプロイメントとモデルの選択は、ターゲットハードウェアとモデルの規約に依存します。研究目的のベンチマークデータや制限されたモデルウェイトは、包括的な商用ライセンスではありません。

これらの測定が支える選択

• 動作点に基づいてターンポリシーを選択する。 当社の開発スライスでは、VAPとMimiが異なるリコール、誤報率、および遅延のトレードオフを提供します。現在の保留中の研究は、それらの元のベースラインを超えています。
• 完了したツールリクエストの数を数える。 当社の10アクション設定では、Novaがサポートされた643のリクエストで正しいツールを選択し、368も一致する引数を持っていました。誤った値と欠落フィールドがギャップを占めています。
• 指示タイプごとにデリバリーをテストする。 ロールプレイはいくつかの実行で弱い領域です。VoiceDesignのパイロットは、新しい全体的な勝者の主張というよりも、より大きなマッチング比較を必要とします。

次に有用な測定値は、マッチング評価を行った大規模なVoiceDesignコホート、固定されたカットオフレートでの多言語エンドポインティング、そして最終的なツール呼び出しまで修正を引き継ぐインタラクションテストです。アクセント、自然さ、およびパフォーマンスの連続性に関する人間のレビューは、本番環境の音声作業における自動スコアと並行して行うべきです。

ライブの結果とプロトコルを読み、speech-swiftを探るか、プライベートなデプロイメントについて議論する。上記の表は、リンクされたスナップショットからの実行サイズと設定を保持しています。