Medir agentes de voz: turnos de conversación, llamadas a herramientas y voz expresiva

Tres mediciones para tres decisiones

We measure these three abilities separately. An assistant can wait for you to finish speaking and still choose the wrong tool. It can also speak clearly while missing the emotion or style you requested.

Ejecutamos los modelos locales en un Apple M5 Pro con 48 GiB de memoria. Para los servicios en la nube, probamos las versiones y configuraciones del modelo enumeradas en los resultados.

Each section explains how many recordings we used, which languages we tested, and any results still being checked. These details help you compare the scores.

TurnBench: cuándo una pausa marca el final del turno

TurnBench distingue el final de una intervención de una pausa dentro del turno. También distingue una interrupción de una breve señal de escucha, como «ajá». Nuestra tabla se centra en detectar el final del turno.

Utilizamos grabaciones públicas de TurnBench y su propio código de puntuación. La tabla muestra el tamaño de ejecución para cada modelo. La clasificación oficial utiliza un conjunto de pruebas separado.

The Recall is the share of real turn endings the model detects. FPR (false-positive rate) is the share of labelled pauses within a turn that it incorrectly treats as the speaker finishing.

Nuestra clasificación ordena los modelos por el índice J de Youden (J = recall − FPR), mostrado como J ×100; cuanto más alto, mejor. El marcador oficial de pruebas clasifica los modelos por recuerdo, colocando por debajo a aquellos con un FPR superior al 15% a aquellos que cumplen el límite.

VAP tiene el índice J de Youden más alto en nuestra comparación de cinco conversaciones: 88.2% de recuerdo y 7.4% de FPR. Mimi realiza menos detecciones falsas, con un 2.0%, pero detecta menos finales de turno y tarda más en decidir.

VAP (Proyección de Actividad de Voz) escucha a ambos oradores en canales de audio separados y predice su próxima actividad de habla. Utiliza la conversación reciente para estimar si el orador actual continuará o cederá la palabra a la otra persona. Investigación sobre VAP muestra que aprende a utilizar señales en la voz, como el tono y el ritmo.

La versión que ejecutamos fue entrenada adicionalmente con 104 horas de audio conversacional de otoSpeech. Nuestra interpretación es que este entrenamiento y su visión de ambos oradores ayudan a explicar su fuerte resultado en nuestra comparación.

También probamos el modelo CoreML p99 descargable y ambas exportaciones VAP en dos conversaciones de desarrollo: 148 finales de turno y 94 pausas dentro de un turno, utilizando políticas de decisión fijas. p99 detectó 134 finales con 15 detecciones falsas; ambas exportaciones VAP detectaron 124 con dos detecciones falsas. Cada exportación tomó las mismas decisiones de eventos que su punto de control original. El protocolo de validación registra las entradas y los umbrales. La fila VAP conserva la ejecución más grande de cinco conversaciones.

Los modelos p99 CoreML y VAP CoreML tienen APIs speech-swift. VAP ONNX se ejecuta a través de los entornos de ejecución C++ y Android. La guía de integración cubre descargas e entradas de audio. Su aplicación establece la política de respuesta.

SLURP: elegir una acción a partir de comandos hablados

SLURP contiene solicitudes habladas de home-assistant con un valor de acción y argumento anotado. En nuestra prueba de enrutamiento, cada grabación viene con diez acciones candidatas y una opción sin acción.

Nuestra configuración de 1,000 grabaciones incluye 810 solicitudes con la acción correcta disponible y 190 con dicha acción retenida. Esperamos ninguna acción en esas 190 solicitudes. Esto comprueba si el modelo rechaza una solicitud cuando su acción no está disponible.

La mayoría de los sistemas utilizan 1,000 grabaciones, incluyendo audio de conversación cercana y a distancia. Las mediciones de precisión de micrófono lejano miden las elecciones correctas en grabaciones realizadas desde más lejos, cuando la herramienta solicitada está disponible. Llamadas a pesar de una herramienta faltante cuenta solicitudes donde el sistema devolvió una acción aunque la herramienta anotada estaba ausente. Agrupa grabaciones de conversación cercana y lejana, y no mide la activación por voz de fondo o silencio. La tabla muestra los recuentos exactos.

El pipeline local Parakeet → Gemma 4 E2B alcanza una precisión de micrófono lejano del 75.2%, cerca del 75.9% de Nova y por detrás del 83.0% de GPT Audio. Pero en las 190 solicitudes cuya herramienta correcta no estaba disponible, Gemma aún eligió una acción 88 veces: su tasa de activación falsa del 46.3%. Un ejemplo fue “eliminar elemento”: con la eliminación de lista no disponible, eligió la eliminación de calendario. También rechazó 88 solicitudes cuya herramienta correcta estaba disponible y seleccionó la herramienta equivocada en otras 69.

Tanto Jev como GLiNER eligen la herramienta correcta en 311 de las 423 solicitudes de micrófono lejano compatibles, lo que representa una precisión del 73.5%. Su comportamiento cambia cuando falta la herramienta correcta: Jev aún elige una acción en 22 de 190 solicitudes (11.6%), mientras que GLiNER lo hace en 74 (39.0%). Por ejemplo, GLiNER interpretó una solicitud para bajar el volumen del orador como atenuar una luz cuando no había la herramienta de volumen. Estos ejemplos seleccionaron una acción diferente a la solicitada. Las descripciones más amplias de las herramientas también pueden superponerse: una solicitud de receta puede enviarse a una herramienta general de cocina. Nuestro recuento sigue la intención anotada, por lo que no establece que cada alternativa fuera semánticamente irrazonable.

Nova tiene la puntuación más alta para hacer coincidir tanto la herramienta como todos los valores de argumento requeridos: 45.4%, o 368 de 810 solicitudes compatibles. Eligió la herramienta correcta en 643 solicitudes, pero los argumentos no coincidieron en 275 de esas. En 147 casos los valores diferían de la referencia; otros 128 omitieron al menos un argumento, a veces junto con diferencias de valor.

La discrepancia de valor más frecuente fue una hora, que apareció en 34 de esos casos. También vimos fechas faltantes y campos mal nombrados. Para una solicitud de alarma que incluía “esta semana”, Nova devolvió la hora pero omitió la fecha. Algunos fallos son diferencias de redacción: “lasagna” no coincide con “lasagne” de referencia bajo esta estricta comparación de texto. La puntuación cuenta ambos tipos de discrepancia.

InstructTTSEval: los fallos propios de la expresión vocal

Para InstructTTSEval, mantenemos el guion hablado fijo y generamos clips separados usando tres tipos de instrucciones:

• APS (Acoustic-Parameter Specification) proporciona configuraciones de voz detalladas, como tono, ritmo, volumen y textura vocal. Por ejemplo: “Tono bajo, ritmo lento, volumen suave y una voz ligeramente respirada.”
• DSD (Descriptive-Style Directive) describe la entrega en lenguaje natural, dejando algunos rasgos de voz abiertos. Por ejemplo: “Habla con calidez y tranquilidad.”
• RP (Role-Play) proporciona un personaje o situación y pide al modelo que infiera cómo sonar. Por ejemplo: “Eres un médico consolando a un paciente ansioso.”

El porcentaje para cada tipo muestra con qué frecuencia el habla generada siguió esa instrucción.

La cohorte más grande contiene 25 líneas fuente en inglés y 25 en chino, tres comprobaciones cada una: 150 clips por sistema. Nova cubre las 25 líneas en inglés, con 75 comprobaciones. En general es el total de aprobaciones dividido por el total de comprobaciones; con tamaños de tarea iguales, es la media de APS, DSD y RP. Un juez Gemini Pro guardado suministra los veredictos de estilo, mientras que la transcripción comprueba las palabras habladas por separado.

Original recordings son el audio fuente humano del *benchmark*. Los puntuamos con las mismas instrucciones y juez utilizados para las ejecuciones de 150 comprobaciones para dar un punto de referencia a las voces sintetizadas. Su 73.3% significa que el juez aceptó 110 de 150 comprobaciones de instrucción.

En el grupo de verificación de 150 coincidencias, FireRedTTS3-Instruct obtiene un puntaje del 65.3% y MOSS-VoiceGenerator obtiene un 56.0%. La ejecución TTS de Google obtiene un 67.3%. En las 75 verificaciones en inglés, FireRed obtiene un 72.0%, MOSS un 52.0% y Google un 72.0%. El resultado BF16 de VoxCPM2 se mantiene en 59.3%; su resultado de juego de roles, del 46.0%, es más débil que sus resultados de descripción de voz y dirección. El checkpoint CustomVoice más grande de Qwen obtiene un 52.7%, frente al 48.0% del resultado con entrada experimental más pequeña. El tamaño por sí solo no determinó la puntuación.

Nuestra conversión de instrucciones a etiquetas de ElevenLabs redujo el canto solicitado y algunos cambios de emoción. CosyVoice3 falló la verificación de contenido de palabras en 48 de 50 clips APS; su configuración de generación también omitió el condicionamiento de referencia presente en la implementación oficial. Estos problemas aún requieren validación de entrada corregida. La ejecución corregida de Fish y varias otras filas contienen respuestas del juez que afirmaron que el audio no estaba disponible; conservamos esos veredictos y marcamos las filas afectadas como provisionales. Estos son resultados para nuestros puertos, adaptadores de entrada y juez, más que un hallazgo de que un modelo ascendente tiene los mismos límites en cada implementación.

La mayoría de los fallos en las grabaciones humanas se encuentran en el juego de roles: 29 de 50 verificaciones fallan, en comparación con ocho para APS y tres para DSD. Una grabación real puede adaptarse a una descripción detallada de voz pero no coincidir con el rol asignado, y el juez también puede cometer errores. La fila de referencia nos ayuda a interpretar las puntuaciones de instrucción; no califica la calidad del habla humana.

El diseño de voz como motor de síntesis

El checkpoint VoiceDesign de Qwen genera una voz a partir de una descripción escrita. CustomVoice, en cambio, aplica direcciones a una voz preestablecida seleccionada. El checkpoint y el canal de control importan: un campo llamado “instruction” no le da a un modelo una capacidad para la que nunca fue entrenado.

Probamos Qwen3-TTS 1.7B VoiceDesign y Breeze TTS 2 en las mismas cinco fuentes en inglés y cinco en chino, dando 30 verificaciones por modelo. Cuatro verificaciones de calibración están fuera de sus puntuaciones. Retuvimos todas las salidas, incluida una bandera de palabra hablada por modelo.

VoiceDesign superó 23/30 comprobaciones y Breeze, 20/30. Las tres tareas comparten diez grabaciones de origen, por lo que se trata de una evaluación preliminar de desarrollo. La diferencia pareada de 10 puntos tiene un intervalo amplio, calculado agrupando por grabación de origen, que incluye cero. La configuración del evaluador también difiere de la del grupo mayor; este piloto no demuestra que VoiceDesign supere el 67.3% de Google.

FireRedTTS3-Instruct y MOSS-VoiceGenerator ahora tienen 150 comprobaciones de estilo cada uno en la tabla anterior. La comprobación de contenido separada marcó 0/150 clips de FireRed y 12/150 clips de MOSS por error de palabra superior al 30%. Sus muestras de tiempo de ejecución con guiones cortos permanecen en el Espacio. El primer PCM disponible fue de aproximadamente 4.50 s para FireRed y 0.47 s para MOSS en el guion en inglés cálido; FireRed devuelve una forma de onda completa mientras que MOSS transmite. Esos tiempos no establecen la calidad de las instrucciones ni un ranking comparado de calidad-velocidad. La certificación de latencia y memoria de modelos existentes sigue siendo inconclusa.

La investigación sobre turnos va más allá del final de una intervención

Instantánea de investigación: 30 de octubre de 2026. El tablero oficial TurnBench fuera de muestra incluye presentaciones más nuevas más allá de las líneas base originales del artículo. La descripción por escrito de p99 describe 6.1 millones de parámetros aprendidos, cabezas de clasificación adicionales y una política de turno que utiliza ambos canales de audio. Su descarga Apache 2.0 contiene el modelo mono de 5.3 millones de parámetros. Nuestra tabla de gestión de turnos incluye ese punto de control descargable.

El eot-bench de LiveKit complementa esto con turnos reales humano-agente en 14 idiomas. Recorre las políticas de detección de puntos finales y compara la latencia con un presupuesto fijo de falso corte, incluida toda la curva de compensación. Ese es un paso útil siguiente para un producto multilingüe porque un umbral que funciona en inglés no tiene por qué adaptarse a otro idioma.

El MultiPartyTurnBench, enviado este mes, expande el control de turno de dos a cinco hablantes. Sus autores informan un fuerte rendimiento de entrada de turnos junto con un manejo de interrupción selectiva cercano al azar para los agentes evaluados. Sus conversaciones generadas proporcionan pruebas controladas, con comprobaciones de audio real necesarias junto a ellas. Las reuniones y salas compartidas requieren más que extender una regla de punto final de dos hablantes.

El Full-Duplex-Bench v3 empareja habla disfluente real con llamadas a herramientas encadenadas, exponiendo autocorrecciones y fallos de múltiples pasos. DuplexAct, también enviado este mes, evalúa acciones de interacción y si el agente sigue adelante. Vemos estos como pruebas complementarias para la brecha entre detectar un evento y completar una interacción útil. No hemos ejecutado estos nuevos puntos de referencia en esta publicación.

Síntesis privada, doblaje dirigido y elección de voces en inglés

Los SDKs privados y de tiempo de ejecución de Soniqo proporcionan bloques de construcción para aplicaciones de voz en su propio entorno. Trabajamos con equipos que construyen tuberías de doblaje expresivo y emocionalmente dirigido: retener las palabras deseadas, elegir una voz, suministrar un resumen de entrega, luego revisar el resultado en contexto.

Puede conectar un *backend* de diseño de voz en la etapa de síntesis manteniendo la política de turno y la ejecución de herramientas separadas. Para una escena narrada, la aplicación puede especificar tranquilidad tranquilizadora o urgencia creciente en lugar de inferir una emoción y cambiar el rendimiento sin control de director. Un flujo de trabajo de doblaje también necesita temporización, continuidad del hablante y revisión auditiva; los tres puntos de referencia anteriores no certifican ese flujo de trabajo completo.

Las opciones de voz en inglés incluyen voces preestablecidas americanas y británicas en el catálogo Kokoro. Los *backends* conscientes del estilo añaden resúmenes de voz en lenguaje natural. La selección de preajustes, el diseño de voz y la clonación son controles distintos, y el soporte varía según el modelo. Un acento regional solicitado necesita ser evaluado con oyentes familiarizados con esa variedad; la precisión de la transcripción y la similitud del hablante no establecen autenticidad.

Con un *backend* local y los activos del modelo aprovisionados, la síntesis puede permanecer en el entorno de implementación. La elección exacta de implementación y modelo depende del hardware objetivo y de los términos del modelo. Los datos de referencia solo para investigación y los pesos de modelos restringidos no constituyen una licencia comercial general.

Las decisiones que respaldan estas mediciones

• Elige una política de turno según su punto operativo. En nuestra porción de desarrollo, VAP y Mimi ofrecen diferentes compensaciones de recuerdo, falsas alarmas y retardo. La investigación retenida actual ha ido más allá de esas líneas base originales.
• Cuenta las solicitudes completas de herramientas. En nuestra configuración de diez acciones, Nova eligió la herramienta correcta en 643 solicitudes soportadas; 368 también tuvieron argumentos coincidentes. Los valores incorrectos y los campos faltantes explicaron la brecha.
• Prueba la entrega por tipo de instrucción. El juego de roles es un área más débil en varias ejecuciones. El piloto VoiceDesign justifica una comparación emparejada más grande, en lugar de una afirmación de un ganador general nuevo.

Nuestras próximas mediciones útiles son una cohorte VoiceDesign más grande con calificación emparejada, detección de puntos finales multilingüe a tasas de corte fijas y pruebas de interacción que llevan una corrección hasta la llamada final a la herramienta. La revisión humana del acento, la naturalidad y la continuidad del rendimiento pertenece junto con las puntuaciones automáticas para el trabajo de voz en producción.

Lee los resultados y protocolos en vivo, explora speech-swift o discute una implementación privada. Las tablas anteriores conservan el tamaño de ejecución y la configuración del instantánea vinculada.