Avaliar agentes de voz: turnos de fala, chamadas de ferramentas e voz expressiva

Três medições para três decisões

We measure these three abilities separately. An assistant can wait for you to finish speaking and still choose the wrong tool. It can also speak clearly while missing the emotion or style you requested.

Executamos os modelos locais em um Apple M5 Pro com 48 GiB de memória. Para serviços em nuvem, testamos as versões e configurações dos modelos listadas nos resultados.

Each section explains how many recordings we used, which languages we tested, and any results still being checked. These details help you compare the scores.

TurnBench: quando uma pausa marca o fim do turno

TurnBench distingue o fim de uma intervenção de uma pausa dentro do turno. Também distingue uma interrupção de um breve sinal de escuta, como «hum-hum». A tabela abaixo centra-se na deteção do fim do turno.

Utilizamos gravações públicas de TurnBench e seu próprio código de pontuação. A tabela mostra o tamanho da execução para cada modelo. O placar oficial utiliza um conjunto de teste separado.

The Recall is the share of actual turn endings the model detects. FPR (false-positive rate) is the share of labeled pauses within a turn that it incorrectly treats as the speaker finishing.

Nosso placar ordena os modelos pelo índice J de Youden (J = recall − FPR), exibido como J ×100; quanto maior, melhor. O placar de teste oficial classifica os modelos por recall, colocando aqueles com um FPR acima de 15% abaixo daqueles que atendem ao limite.

VAP tem o maior índice J de Youden em nossa comparação de cinco conversas: 88.2% de recall e 7.4% de FPR. Mimi faz menos falsos detecções, com 2.0%, mas detecta menos finais de turno e leva mais tempo para decidir.

VAP (Voice Activity Projection) escuta ambos os falantes em canais de áudio separados e prevê sua atividade de fala iminente. Ele usa a conversa recente para estimar se o falante atual continuará ou passará para a outra pessoa. Pesquisas sobre VAP mostram que ele aprende a usar pistas na voz, como tom e ritmo.

A versão que executamos foi treinada adicionalmente com 104 horas de áudio conversacional do otoSpeech. Nossa interpretação é que este treinamento e sua visão de ambos os falantes ajudam a explicar seu forte resultado em nossa comparação.

Também testamos o modelo CoreML p99 baixável e ambas as exportações VAP em duas conversas de desenvolvimento: 148 finais de turno e 94 pausas dentro de um turno, usando políticas de decisão fixas. O p99 detectou 134 finais com 15 falsos positivos; ambas as exportações VAP detectaram 124 com dois falsos positivos. Cada exportação tomou as mesmas decisões de evento que seu checkpoint original. O protocolo de validação registra as entradas e os limites. A linha VAP retém a execução maior de cinco conversas.

Os modelos p99 CoreML e VAP CoreML possuem APIs speech-swift. O VAP ONNX passa pelos *runtimes* C++ e Android. O guia de integração cobre downloads e entradas de áudio. Seu aplicativo define a política de resposta.

SLURP: escolher uma ação a partir de comandos falados

SLURP contém solicitações faladas do home-assistant com um valor de ação e argumento anotado. Em nosso teste de roteamento, cada gravação vem com dez ações candidatas e uma opção sem ação.

Nosso conjunto de 1.000 gravações inclui 810 solicitações com a ação correta disponível e 190 com essa ação retida. Esperamos nenhuma ação nessas 190 solicitações. Isso verifica se o modelo recusa um pedido quando sua ação não está disponível.

A maioria dos sistemas usa 1.000 gravações, incluindo áudio de conversa próxima e de campo distante. As medidas de precisão de microfone distante medem escolhas corretas em gravações feitas de uma distância maior, quando a ferramenta solicitada está disponível. Chamadas apesar de ferramenta ausente conta solicitações onde o sistema retornou uma ação mesmo que a ferramenta anotada estivesse ausente. Ele agrupa gravações de conversa próxima e campo distante, e não mede ativação por fala de fundo ou silêncio. A tabela mostra as contagens exatas.

O *pipeline* local Parakeet → Gemma 4 E2B atinge 75.2% de precisão em microfone distante, próximo aos 75.9% do Nova e atrás dos 83.0% do GPT Audio. Mas nas 190 solicitações cujas ferramentas corretas estavam indisponíveis, o Gemma ainda escolheu uma ação 88 vezes: sua taxa de ativação falsa de 46.3%. Um exemplo foi “excluir item”: com a remoção da lista indisponível, ele escolheu a remoção do calendário. Ele também rejeitou 88 solicitações cujas ferramentas corretas estavam disponíveis e selecionou a ferramenta errada em outras 69.

Jev e GLiNER escolhem a ferramenta correta em 311 dos 423 pedidos de far-mic suportados, dando 73.5% de precisão. O comportamento deles muda quando a ferramenta correta está ausente: Jev ainda escolhe uma ação em 22 de 190 pedidos (11.6%), enquanto GLiNER faz isso em 74 (39.0%). Por exemplo, GLiNER interpretou um pedido para diminuir o volume do falante como escurecer uma luz quando a ferramenta de volume estava ausente. Esses exemplos selecionaram uma ação diferente da solicitada. Descrições de ferramentas mais amplas também podem se sobrepor: um pedido de receita pode ser enviado para uma ferramenta geral de culinária. Nossa contagem segue a intenção anotada, portanto, não estabelece que cada alternativa era semanticamente irrazoável.

Nova tem a maior pontuação para corresponder tanto à ferramenta quanto a todos os valores de argumento necessários: 45.4%, ou 368 de 810 pedidos suportados. Escolheu a ferramenta correta em 643 pedidos, mas os argumentos falharam na correspondência em 275 desses. Em 147 casos os valores diferiram da referência; outros 128 omitiram pelo menos um argumento, às vezes juntamente com diferenças de valor.

A incompatibilidade de valor mais frequente foi uma hora, aparecendo em 34 desses casos. Também vimos datas ausentes e campos com nomes incorretos. Para um pedido de alarme que incluía “esta semana”, Nova retornou a hora, mas omitiu a data. Alguns falhas são diferenças de redação: “lasagna” não corresponde ao “lasagne” da referência sob esta comparação de texto estrita. A pontuação conta os dois tipos de incompatibilidade.

InstructTTSEval: falhas próprias da expressão vocal

Para InstructTTSEval, mantemos o roteiro falado fixo e geramos clipes separados usando três tipos de instrução:

• APS (Acoustic-Parameter Specification) fornece configurações de voz detalhadas, como tom, ritmo, volume e textura vocal. Por exemplo: “Tom baixo, ritmo lento, volume suave e uma voz ligeiramente ofegante.”
• DSD (Descriptive-Style Directive) descreve a entrega em linguagem natural, deixando alguns traços de voz abertos. Por exemplo: “Fale caloroso e tranquilizadoramente.”
• RP (Role-Play) fornece um personagem ou situação e pede ao modelo para inferir como soar. Por exemplo: “Você é um médico confortando um paciente ansioso.”

A porcentagem para cada tipo mostra com que frequência a fala gerada seguiu essa instrução.

O grupo maior contém 25 linhas de origem em inglês e 25 em chinês, três verificações cada: 150 clipes por sistema. Nova cobre as 25 linhas em inglês, com 75 verificações. No geral é total de aprovações dividido pelo total de verificações; com tamanhos de tarefa iguais, é a média de APS, DSD e RP. Um avaliador Gemini Pro salvo fornece os vereditos de estilo, enquanto a transcrição verifica as palavras faladas separadamente.

Original recordings são o áudio fonte humano do benchmark. Nós os pontuamos com as mesmas instruções e avaliador usados para as execuções de 150 verificações para dar um ponto de referência às vozes sintetizadas. Os seus 73.3% significam que o avaliador aceitou 110 de 150 verificações de instrução.

No coorte de 150 verificações correspondidas, FireRedTTS3-Instruct pontua 65.3% e MOSS-VoiceGenerator pontua 56.0%. O teste TTS do Google pontua 67.3%. Nas 75 verificações em inglês, o FireRed pontua 72.0%, MOSS 52.0% e Google 72.0%. A execução BF16 do VoxCPM2 permanece em 59.3%; seu resultado de interpretação de papéis, 46.0%, é mais fraco que seus resultados de descrição de voz e direção. O checkpoint CustomVoice Qwen maior pontua 52.7%, versus 48.0% para a execução menor com entrada experimental. O tamanho por si só não determinou a pontuação.

Nossa conversão de instrução para tag do ElevenLabs diminuiu o canto solicitado e algumas mudanças de emoção. CosyVoice3 falhou na verificação de conteúdo de palavras em 48 de 50 clipes APS; sua configuração de geração também omitiu o condicionamento de referência presente na implementação oficial. Essas questões ainda precisam de validação de entrada corrigida. A execução corrigida do Fish e várias outras linhas contêm respostas dos juízes que alegaram indisponibilidade de áudio; preservamos esses vereditos e marcamos as linhas afetadas como provisórias. Estes são resultados para nossos *ports*, adaptadores de entrada e avaliador, em vez de uma constatação de que um modelo a montante tem os mesmos limites em toda implementação.

A maioria das falhas nas gravações humanas está na interpretação de papéis: 29 de 50 verificações falham, comparado com oito para APS e três para DSD. Uma gravação real pode se adequar a uma descrição detalhada de voz, mas não corresponder ao papel atribuído, e o avaliador também pode cometer erros. A linha de referência nos ajuda a interpretar as pontuações de instrução; ela não avalia a qualidade da fala humana.

A criação de voz como motor de síntese

O checkpoint VoiceDesign do Qwen gera uma voz a partir de uma descrição escrita. O CustomVoice, em vez disso, aplica direções a uma voz predefinida selecionada. O checkpoint e o canal de controle importam: um campo chamado “instruction” não dá a um modelo uma capacidade para a qual ele nunca foi treinado.

Testamos Qwen3-TTS 1.7B VoiceDesign e Breeze TTS 2 nos mesmos cinco fontes em inglês e cinco em chinês, dando 30 verificações por modelo. Quatro verificações de calibração estão fora das suas pontuações. Retivemos todas as saídas, incluindo uma *flag* de palavra falada por modelo.

VoiceDesign passou em 23/30 verificações e Breeze em 20/30. Como as três tarefas partilham dez gravações de origem, trata-se de uma avaliação preliminar de desenvolvimento. A diferença emparelhada de 10 pontos tem um intervalo amplo, calculado agrupando por gravação de origem, que inclui zero. As definições do avaliador também diferem das do grupo maior; este piloto não demonstra que VoiceDesign supere os 67.3% de Google.

FireRedTTS3-Instruct e MOSS-VoiceGenerator agora têm 150 verificações de estilo na tabela acima. A verificação de conteúdo separada sinalizou 0/150 clipes FireRed e 12/150 clipes MOSS por erro de palavra acima de 30%. Suas amostras de tempo de execução com roteiros curtos permanecem no Space. O primeiro PCM disponível foi de cerca de 4.50 s para o FireRed e 0.47 s para o MOSS no roteiro em inglês aquecido; o FireRed retorna uma forma de onda completa enquanto o MOSS transmite. Esses tempos não estabelecem a qualidade da instrução nem um ranking comparável de qualidade-velocidade. A certificação de latência e memória dos modelos existentes permanece inconclusiva.

A investigação sobre turnos vai além da deteção do fim

Instantâneo de pesquisa: 30 de outubro de 2026. O painel reservado oficial do TurnBench inclui submissões mais recentes além dos *baselines* originais do artigo. O resumo do sistema do p99 descreve 6.1 milhões de parâmetros aprendidos, cabeças de classificação extras e uma política de turno que usa ambos os canais de áudio. Seu download Apache 2.0 contém o modelo mono de 5.3 milhões de parâmetros. Nossa tabela de gerenciamento de conversação inclui esse *checkpoint* baixável.

eot-bench do LiveKit complementa isso com turnos reais humano-para-agente em 14 idiomas. Ele varre políticas de detecção de fim e compara a latência em um orçamento fixo de corte falso, incluindo toda a curva de *tradeoff*. Esse é um próximo passo útil para um produto multilíngue porque um limiar que funciona em inglês não precisa ser adequado para outro idioma.

MultiPartyTurnBench, submetido este mês, expande o controle de turno de dois para cinco falantes. Seus autores relatam forte desempenho de entrada de turno juntamente com manuseio de interrupção seletiva próximo ao acaso para os agentes avaliados. Suas conversas geradas fornecem testes controlados, com verificações de áudio real necessárias junto a eles. Reuniões e salas compartilhadas exigem mais do que estender uma regra de detecção de fim de dois falantes.

Full-Duplex-Bench v3 emparelha fala disfluente real com chamadas de ferramenta encadeadas, expondo autocorreções e falhas de múltiplos passos. DuplexAct, também submetido este mês, avalia ações de interação e se o agente dá seguimento. Vemos estes como testes complementares para a lacuna entre detectar um evento e completar uma interação útil. Não executamos esses *benchmarks* mais recentes neste post.

Síntese privada, dobragem dirigida e escolha de vozes em inglês

Os SDKs privados de tempo de execução e on-device da Soniqo fornecem blocos de construção para aplicações de fala em seu próprio ambiente. Trabalhamos com equipes que constroem *pipelines* de síntese expressiva e dublagem direcionada emocionalmente: reter as palavras pretendidas, escolher uma voz, fornecer um breve de entrega e, em seguida, revisar o resultado no contexto.

Você pode conectar um *backend* de design de voz na etapa de síntese enquanto mantém a política de turno e a execução de ferramentas separadas. Para uma cena narrada, o aplicativo pode especificar conforto calmo ou urgência crescente em vez de inferir uma emoção e alterar a performance sem controle de diretor. Um fluxo de trabalho de dublagem também precisa de tempo, continuidade do falante e revisão auditiva; os três *benchmarks* acima não certificam esse fluxo de trabalho completo.

As opções de voz em inglês incluem vozes predefinidas americanas e britânicas no catálogo Kokoro. Backends sensíveis ao estilo adicionam breves descrições de voz em linguagem natural. A seleção de pré-definição, o design de voz e a clonagem são controles distintos, e o suporte varia por modelo. Um sotaque regional solicitado precisa ser avaliado com ouvintes familiarizados com essa variedade; a precisão da transcrição e a similaridade do falante não estabelecem autenticidade.

Com um backend local e ativos de modelo provisionados, a síntese pode permanecer no ambiente de implantação. A escolha exata de implantação e modelo depende do hardware alvo e dos termos do modelo. Dados de benchmark apenas para pesquisa e pesos de modelo restritos não constituem uma licença comercial geral.

As escolhas que estas medições sustentam

• Escolha uma política de turno por seu ponto operacional. Em nossa fatia de desenvolvimento, VAP e Mimi oferecem diferentes compensações de recall, falso alarme e atraso. Pesquisas retidas atuais foram além dessas linhas de base originais.
• Conte solicitações completas de ferramentas. Em nossa configuração de dez ações, Nova escolheu a ferramenta correta em 643 solicitações suportadas; 368 também tiveram argumentos correspondentes. Valores incorretos e campos ausentes contabilizaram a lacuna.
• Teste a entrega por tipo de instrução. O role-play é uma área mais fraca em várias execuções. O piloto VoiceDesign justifica uma comparação pareada maior, em vez de uma alegação de um vencedor geral novo.

Nossas próximas medições úteis são um grupo maior do VoiceDesign com julgamento pareado, endpointing multilíngue em taxas de corte fixas e testes de interação que carregam uma correção até a chamada final da ferramenta. A revisão humana de sotaque, naturalidade e continuidade de desempenho pertence ao lado das pontuações automáticas para trabalho de voz de produção.

Leia os resultados e protocolos ao vivo, explore speech-swift ou discuta uma implantação privada. As tabelas acima retêm os tamanhos de execução e configurações do instantâneo vinculado.