Évaluer les agents vocaux : tours de parole, appels d’outils et voix expressive

Trois mesures pour trois décisions

We measure these three abilities separately. An assistant can wait for you to finish speaking and still choose the wrong tool. It can also speak clearly while missing the emotion or style you requested.

Nous avons exécuté les modèles locaux sur un Apple M5 Pro avec 48 GiB de mémoire. Pour les services cloud, nous avons testé les versions et les paramètres du modèle énumérés dans les résultats.

Each section explains how many recordings we used, which languages we tested, and any results still being checked. These details help you compare the scores.

TurnBench : quand une pause marque la fin du tour

TurnBench distingue la fin d’un tour de parole d’une pause au sein de ce tour. Il distingue aussi une interruption d’un bref signe d’écoute comme « hum-hum ». Le tableau ci-dessous se concentre sur la détection de fin de tour.

Nous avons utilisé les enregistrements de développement publics de TurnBench et son propre code de notation. Le tableau montre la taille d'exécution pour chaque modèle. Le classement officiel utilise un ensemble de test séparé.

The Recall is the share of actual turn endings the model detects. FPR (false-positive rate) is the share of labeled pauses within a turn that it incorrectly treats as the speaker finishing.

Notre classement trie les modèles selon l’indice J de Youden (J = rappel − FPR), affiché sous la forme J ×100 ; plus il est élevé, mieux c’est. Le classement de test officiel classe les modèles par rappel, plaçant ceux avec un FPR supérieur à 15% en dessous de ceux qui respectent la limite.

VAP a l’indice J de Youden le plus élevé dans notre comparaison de cinq conversations : 88.2% de rappel et 7.4% de FPR. Mimi fait moins de fausses détections, à 2.0%, mais détecte moins de fins de tour et met plus de temps à décider.

VAP (Voice Activity Projection) écoute les deux locuteurs sur des canaux audio séparés et prédit leur activité de parole à venir. Il utilise la conversation récente pour estimer si le locuteur actuel continuera ou passera la parole à l'autre personne. La recherche sur VAP montre qu'il apprend à utiliser les indices dans la voix, tels que le pitch et le rythme.

La version que nous avons utilisée a été entraînée davantage sur 104 heures d'audio conversationnel provenant de otoSpeech. Notre interprétation est que cet entraînement et sa vision des deux locuteurs aident à expliquer son résultat solide dans notre comparaison.

Nous avons également testé le modèle CoreML p99 téléchargeable et les deux exportations VAP sur deux conversations de développement : 148 fins de tours et 94 pauses à l'intérieur d'un tour, en utilisant des politiques de décision fixes. p99 a détecté 134 fins avec 15 fausses détections ; les deux exportations VAP ont détecté 124 avec deux fausses détections. Chaque exportation a pris les mêmes décisions d'événements que son point de contrôle original. Le protocole de validation enregistre les entrées et les seuils. La ligne VAP conserve la plus grande exécution sur cinq conversations.

Les modèles p99 CoreML et VAP CoreML disposent d'API speech-swift. VAP ONNX passe par les environnements d'exécution C++ et Android. Le guide d'intégration couvre les téléchargements et les entrées audio. Votre application définit la politique de réponse.

SLURP : choisir une action à partir de commandes vocales

SLURP contient des requêtes vocales home-assistant avec une action annotée et des valeurs d'arguments. Dans notre test de routage, chaque enregistrement est accompagné de dix actions candidates et d'une option sans action.

Notre configuration de 1 000 enregistrements comprend 810 requêtes avec l'action correcte disponible et 190 avec cette action retenue. Nous ne nous attendons à aucune action sur ces 190 requêtes. Ceci vérifie si le modèle refuse une requête lorsque son action est indisponible.

La plupart des systèmes utilisent 1 000 enregistrements, y compris l'audio en parole rapprochée et en champ lointain. Les mesures de précision du microphone éloigné comptent les choix corrects sur des enregistrements effectués à une distance plus grande, lorsque l'outil demandé est disponible. Appels malgré un outil manquant compte les requêtes où le système a retourné une action même si l'outil annoté était absent. Il regroupe les enregistrements en parole rapprochée et en champ lointain, et ne mesure pas l'activation due au bruit de fond ou au silence. Le tableau montre les comptes exacts.

Le pipeline local Parakeet → Gemma 4 E2B atteint une précision en champ lointain de 75,2 %, proche des 75,9 % de Nova et derrière les 83,0 % de GPT Audio. Mais sur les 190 requêtes dont l'outil correct était indisponible, Gemma a toujours choisi une action 88 fois : son taux de fausse activation de 46,3 %. Un exemple était « supprimer un élément » : avec la suppression de liste indisponible, il a choisi la suppression de calendrier. Il a également rejeté 88 requêtes dont l'outil correct était disponible et a sélectionné le mauvais outil sur 69 autres.

Jev et GLiNER choisissent tous deux l'outil correct sur 311 des 423 requêtes de microphone éloigné prises en charge, ce qui donne une précision de 73,5 %. Leur comportement change lorsque l'outil correct est manquant : Jev choisit toujours une action sur 22 des 190 requêtes (11,6 %), tandis que GLiNER le fait sur 74 (39,0 %). Par exemple, GLiNER a interprété une requête pour baisser le volume de la voix comme un atténuation d'une lumière lorsque l'outil de volume était absent. Ces exemples ont sélectionné une action différente de celle demandée. Les descriptions d'outils plus larges peuvent également se chevaucher : une requête de recette peut être envoyée à un outil de cuisine général.

Nova obtient le meilleur score pour la correspondance à la fois de l'outil et de toutes les valeurs d'arguments requises : 45,4 %, soit 368 des 810 requêtes prises en charge. Il a choisi le bon outil sur 643 requêtes, mais les arguments n'ont pas correspondu sur 275 d'entre elles. Dans 147 cas, les valeurs différaient de la référence ; 128 autres ont omis au moins un argument, parfois avec des différences de valeur.

Le désaccord de valeur le plus fréquent était une heure, apparaissant dans 34 de ces cas. Nous avons également constaté des dates manquantes et des champs mal nommés. Pour une requête d'alarme incluant « cette semaine », Nova a retourné l'heure mais a omis la date. Certains échecs sont des différences de formulation : « lasagne » ne correspond pas à « lasagne » de la référence selon cette comparaison textuelle stricte. Le score compte les deux types de désaccord.

InstructTTSEval : les échecs propres à l’expression vocale

Pour InstructTTSEval, nous gardons le script parlé fixe et générons des clips séparés en utilisant trois types d'instructions :

• APS (Acoustic-Parameter Specification) fournit des paramètres vocaux détaillés, tels que le pitch, le rythme, le volume et la texture vocale. Par exemple : « Pitch bas, rythme lent, volume doux et une voix légèrement sifflante. »
• DSD (Descriptive-Style Directive) décrit la manière de parler en langage naturel, laissant certains traits vocaux ouverts. Par exemple : « Parlez chaleureusement et de manière rassurante. »
• RP (Role-Play) donne un personnage ou une situation et demande au modèle d'inférer comment sonner. Par exemple : « Vous êtes un médecin qui réconforte un patient anxieux. »

Le pourcentage pour chaque type montre la fréquence à laquelle le discours généré a suivi cette instruction.

La cohorte plus grande contient 25 lignes sources anglaises et 25 lignes sources chinoises, trois vérifications chacune : 150 clips par système. Nova couvre les 25 lignes anglaises, avec 75 vérifications. Globalement, c'est le total des succès divisé par le total des vérifications ; avec des tailles de tâches égales, c'est la moyenne de APS, DSD et RP. Un juge Gemini Pro sauvegardé fournit les verdicts de style, tandis que la transcription vérifie les mots prononcés séparément.

Original recordings sont l'audio source humaine du benchmark. Nous les notons avec les mêmes instructions et le même juge utilisés pour les séries de 150 vérifications afin de donner un point de référence aux voix synthétisées. Leur taux de 73,3 % signifie que le juge a accepté 110 des 150 vérifications d'instructions.

Sur la cohorte de 150 contrôles correspondants, FireRedTTS3-Instruct obtient un score de 65.3 % et MOSS-VoiceGenerator obtient 56.0 %. Le passage TTS de Google obtient 67.3 %. Sur les 75 contrôles anglais, FireRed obtient 72.0 %, MOSS 52.0 % et Google 72.0 %. L'exécution BF16 de VoxCPM2 reste à 59.3 % ; son résultat de jeu de rôle, 46.0 %, est inférieur à ses résultats de description vocale et de direction. Le plus grand point de contrôle CustomVoice Qwen obtient 52.7 %, contre 48.0 % pour l'exécution avec entrée expérimentale plus petite. La taille seule n'a pas déterminé le score.

Notre conversion d'instructions en étiquettes ElevenLabs a réduit les chants demandés et certains changements d'émotion. CosyVoice3 a échoué au contrôle de contenu des mots sur 48 des 50 clips APS ; sa configuration de génération a également omis le conditionnement de référence présent dans l'implémentation officielle. Ces problèmes nécessitent toujours une validation des entrées corrigées. L'exécution corrigée de Fish et plusieurs autres lignes contiennent des réponses du juge déclarant que l'audio était indisponible ; nous préservons ces verdicts et marquons les lignes affectées comme provisoires. Ce sont des résultats pour nos ports, adaptateurs d'entrée et juges, plutôt qu'une constatation selon laquelle un modèle en amont a les mêmes limites dans chaque implémentation.

La plupart des échecs sur les enregistrements humains concernent le jeu de rôle : 29 des 50 contrôles échouent, contre huit pour APS et trois pour DSD. Un enregistrement réel peut correspondre à une description vocale détaillée mais ne pas correspondre au rôle qui lui est attribué, et le juge peut également commettre des erreurs. La ligne de référence nous aide à interpréter les scores d'instructions ; elle ne note pas la qualité du discours humain.

La création de voix comme moteur de synthèse

Le point de contrôle VoiceDesign de Qwen génère une voix à partir d'une description écrite. CustomVoice applique plutôt des directions à une voix prédéfinie sélectionnée. Le point de contrôle et le canal de contrôle comptent : un champ nommé “instruction” ne donne pas à un modèle une capacité pour laquelle il n'a jamais été entraîné.

Nous avons testé Qwen3-TTS 1.7B VoiceDesign et Breeze TTS 2 sur les mêmes cinq sources anglaises et cinq sources chinoises, donnant 30 contrôles par modèle. Quatre contrôles de calibration sont en dehors de leurs scores. Nous avons conservé toutes les sorties, y compris un indicateur de mot parlé par modèle.

VoiceDesign a réussi 23/30 vérifications et Breeze, 20/30. Les trois tâches partagent dix enregistrements sources : il s’agit donc d’une évaluation préliminaire de développement. La différence appariée de 10 points présente un intervalle large, calculé en regroupant par enregistrement source, qui inclut zéro. Les réglages de l’évaluateur diffèrent aussi de ceux du groupe plus grand ; ce pilote ne démontre donc pas que VoiceDesign dépasse le résultat de Google de 67.3%.

FireRedTTS3-Instruct et MOSS-VoiceGenerator ont maintenant chacun 150 vérifications de style dans le tableau ci-dessus. La vérification de contenu séparée a signalé 0/150 clips FireRed et 12/150 clips MOSS pour erreur de mot au-delà de 30 %. Leurs échantillons d'exécution avec scripts courts restent dans l'Espace. Le premier PCM disponible était d'environ 4,50 s pour FireRed et 0,47 s pour MOSS sur le script anglais chaud ; FireRed renvoie une forme d'onde complète tandis que MOSS diffuse. Ces temps ne permettent pas d'établir la qualité des instructions ni un classement qualité-vitesse équivalent. La certification de latence et de mémoire des modèles existants reste inconclusive.

La recherche sur les tours de parole va au-delà de leur fin

État de la recherche au 30 octobre 2026. Le classement officiel TurnBench sur le jeu de test réservé comprend des contributions plus récentes que les modèles de référence initiaux de l’article. La description du système de p99 indique 6.1 millions de paramètres appris, des têtes de classification supplémentaires et une politique de prise de parole utilisant les deux canaux audio. Le modèle téléchargeable sous Apache 2.0 contient la version mono à 5.3 millions de paramètres. Notre tableau sur les tours de parole inclut cette version téléchargeable.

Le eot-bench de LiveKit complète cela avec des échanges réels humain-agent dans 14 langues. Il balaie les politiques d'arrêt et compare la latence à un budget de faux-coupure fixe, y compris la courbe de compromis complète. C'est une étape utile pour un produit multilingue car un seuil qui fonctionne en anglais ne convient pas nécessairement à une autre langue.

Le MultiPartyTurnBench, soumis ce mois-ci, étend le contrôle des tours de deux à cinq locuteurs. Ses auteurs signalent de bonnes performances d'entrée de tour ainsi qu'une gestion des interruptions sélectives proche du hasard pour les agents évalués. Ses conversations générées fournissent des tests contrôlés, nécessitant des vérifications audio réelles en complément. Les réunions et les salles partagées exigent plus que l'extension d'une règle d'arrêt à deux locuteurs.

Le Full-Duplex-Bench v3 associe la parole disfluente réelle à des appels d'outils en chaîne, exposant les auto-corrections et les échecs multi-étapes. Le DuplexAct, également soumis ce mois-ci, évalue les actions d'interaction et si l'agent fait le suivi. Nous considérons qu'il s'agit de tests complémentaires pour le fossé entre la détection d'un événement et l'achèvement d'une interaction utile. Nous n'avons pas exécuté ces nouveaux bancs d'essai dans ce message.

Synthèse privée, doublage dirigé et choix de voix en anglais

Les SDK privés et temps d'exécution de Soniqo fournissent des blocs de construction pour les applications vocales dans votre propre environnement. Nous travaillons avec des équipes construisant des pipelines de synthèse expressive et de doublage émotionnellement dirigé : conserver les mots intentionnels, choisir une voix, fournir un bref de livraison, puis réviser le résultat dans son contexte.

Vous pouvez intégrer un backend de conception vocale à l'étape de synthèse tout en gardant la politique de tour et l'exécution des outils séparées. Pour une scène narrée, l'application peut spécifier un réconfort calme ou une urgence croissante plutôt que d'inférer une émotion et de modifier la performance sans contrôle de réalisateur. Un flux de travail de doublage nécessite également le timing, la continuité du locuteur et une révision auditive ; les trois bancs d'essai ci-dessus ne certifient pas ce flux de travail complet.

Les choix de voix en anglais comprennent des voix prédéfinies américaines et britanniques dans le catalogue Kokoro. Les backends sensibles au style ajoutent des notes vocales en langage naturel. La sélection de préréglages, la conception de voix et le clonage sont des contrôles distincts, et le support varie selon le modèle. Un accent régional demandé nécessite une évaluation auprès d'auditeurs familiers avec cette variété ; la précision de la transcription et la similarité du locuteur n'établissent pas l'authenticité.

Avec un backend local et des actifs de modèle provisionnés, la synthèse peut rester dans l'environnement de déploiement. Le choix exact du déploiement et du modèle dépend du matériel cible et des conditions d'utilisation du modèle. Les données de référence uniquement pour la recherche et les poids de modèles restreints ne constituent pas une licence commerciale générale.

Les choix que ces mesures permettent d’étayer

• Choisir une politique de prise de tour par son point d'opération. Dans notre tranche de développement, VAP et Mimi offrent différents compromis en termes de rappel, de fausse alarme et de délai. Les recherches tenues hors jeu actuelles ont dépassé ces lignes de base originales.
• Compter les requêtes d'outils complètes. Dans notre configuration à dix actions, Nova a choisi l'outil correct sur 643 requêtes prises en charge ; 368 avaient également des arguments correspondants. Les valeurs incorrectes et les champs manquants ont constitué le manque.
• Tester le rendu par type d'instruction. Le jeu de rôle est un domaine plus faible dans plusieurs exécutions. Le pilote VoiceDesign mérite une comparaison appariée plus large, plutôt qu'une affirmation de vainqueur global nouveau.

Nos prochaines mesures utiles sont une cohorte VoiceDesign plus grande avec un jugement apparié, l'endpointing multilingue à des taux de coupure fixes, et des tests d'interaction qui portent une correction jusqu'à l'appel d'outil final. L'examen humain de l'accent, du naturel et de la continuité des performances doit être au même niveau que les scores automatiques pour le travail vocal en production.

Lire les résultats et protocoles en direct, explorer speech-swift, ou discuter d'un déploiement privé. Les tableaux ci-dessus conservent la taille des exécutions et les paramètres de l'instantané lié.