Оценка голосовых агентов: смена реплик, вызовы инструментов и выразительная речь

Три измерения для трёх решений

Мы измеряем эти три способности по отдельности. Ассистент может дождаться конца вашей реплики и всё равно выбрать неверный инструмент. Он также может говорить разборчиво, но не передавать нужную эмоцию или манеру речи.

Локальные модели мы запускали на Apple M5 Pro с 48 ГиБ памяти. Для облачных сервисов использовали версии моделей и настройки, указанные в результатах.

В каждом разделе указаны число записей, проверенные языки и результаты, которые ещё проходят проверку. Эти сведения помогают сравнивать оценки.

TurnBench: когда пауза означает конец реплики

TurnBench различает окончание реплики и паузу внутри неё. Он также отличает прерывание от короткого сигнала слушателя вроде «угу». Наша таблица ниже посвящена обнаружению конца реплики.

Мы использовали открытые записи из набора разработки TurnBench и его собственный код оценки. В таблице указан размер прогона для каждой модели. Официальная таблица результатов использует отдельный тестовый набор.

Recall (полнота) — доля настоящих окончаний реплик, которые обнаруживает модель. FPR (доля ложных срабатываний) — доля размеченных пауз внутри реплики, которые модель ошибочно принимает за её конец.

В нашей таблице модели упорядочены по индексу Юдена (Youden’s J) (J = recall − FPR), показанному как J ×100; чем выше, тем лучше. Официальная тестовая таблица ранжирует модели по recall, помещая модели с FPR выше 15% ниже тех, которые укладываются в этот предел.

У VAP самый высокий индекс Юдена (Youden’s J) в нашем сравнении на пяти разговорах: 88.2% recall и 7.4% FPR. Mimi делает меньше ложных срабатываний — 2.0%, но обнаруживает меньше окончаний реплик и дольше принимает решение.

VAP (Voice Activity Projection) слушает обоих собеседников по отдельным аудиоканалам и предсказывает их предстоящую речевую активность. По недавнему контексту разговора модель оценивает, продолжит ли текущий собеседник говорить или передаст слово другому. Исследование VAP показывает, что модель учится использовать голосовые признаки, например высоту тона и ритм.

Запущенную нами версию дополнительно обучали на 104 часах разговорных записей из otoSpeech. По нашей интерпретации, это обучение и доступ к речи обоих собеседников помогают объяснить её высокий результат в нашем сравнении.

Мы также проверили доступную для скачивания модель p99 CoreML и оба экспорта VAP на двух разговорах из набора разработки: 148 окончаний реплик и 94 паузы внутри реплики, с фиксированными правилами принятия решений. p99 обнаружила 134 окончания и допустила 15 ложных срабатываний; оба экспорта VAP обнаружили 124 окончания и допустили два ложных срабатывания. Каждый экспорт принял те же решения по событиям, что и его исходная модель. Протокол проверки описывает входные данные и пороги. В строке VAP сохранён более крупный прогон на пяти разговорах.

Для моделей p99 CoreML и VAP CoreML доступны API в speech-swift. VAP ONNX работает через среды исполнения для C++ и Android. Руководство по интеграции описывает загрузку моделей и входное аудио. Политику ответа задаёт ваше приложение.

SLURP: выбор действия по голосовой команде

SLURP содержит голосовые запросы к домашнему ассистенту с размеченным действием и значениями аргументов. В нашем тесте маршрутизации для каждой записи предлагаются десять вариантов действий и ответ «не выполнять действие».

Наш набор из 1,000 записей включает 810 запросов с доступным правильным действием и 190 запросов, для которых оно исключено. Для этих 190 запросов мы ожидаем отказа от действия. Так мы проверяем, отклоняет ли модель запрос, когда нужное действие недоступно.

Для большинства систем использованы 1,000 записей с близкого и удалённого микрофонов. Точность на удалённом микрофоне показывает долю правильных выборов на записях издалека при доступном нужном инструменте. Вызовы при отсутствии инструмента — запросы, для которых система вернула действие, хотя размеченного инструмента не было среди доступных. Показатель объединяет записи с близкого и удалённого микрофонов и не измеряет активацию от фоновой речи или тишины. В таблице приведены точные количества.

Локальный конвейер Parakeet → Gemma 4 E2B достигает точности 75.2% на удалённом микрофоне: близко к 75.9% у Nova и ниже 83.0% у GPT Audio. Но на 190 запросах с недоступным нужным инструментом Gemma всё равно выбрала действие 88 раз: доля ложной активации составила 46.3%. Например, на запрос «удалить элемент» при недоступном удалении из списка она выбрала удаление из календаря. Она также отклонила 88 запросов с доступным нужным инструментом и выбрала неверный инструмент ещё в 69 случаях.

Jev и GLiNER выбирают правильный инструмент на 311 из 423 поддерживаемых запросов с удалённого микрофона, что даёт точность 73.5%. При отсутствии нужного инструмента поведение различается: Jev всё равно выбирает действие в 22 из 190 случаев (11.6%), а GLiNER — в 74 (39.0%). Например, GLiNER истолковал просьбу уменьшить громкость динамика как команду приглушить свет, когда инструмент управления громкостью был недоступен. В этих примерах было выбрано действие, отличное от запрошенного. Описания более общих инструментов могут пересекаться: запрос рецепта может попасть в общий инструмент для приготовления еды. Наш подсчёт опирается на размеченное намерение и не доказывает, что любая альтернатива была семантически неразумной.

У Nova самый высокий результат по совпадению одновременно инструмента и всех обязательных аргументов: 45.4%, или 368 из 810 поддерживаемых запросов. Она выбрала правильный инструмент для 643 запросов, но в 275 из них аргументы не совпали с эталоном. В 147 случаях отличались значения; ещё в 128 не хватало хотя бы одного аргумента, иногда одновременно с различиями значений.

Самым частым несовпадением значений было время — оно встретилось в 34 таких случаях. Также встречались пропущенные даты и неверные имена полей. Для запроса будильника со словами «на этой неделе» Nova вернула время, но не дату. Некоторые ошибки связаны с формулировками: при строгом текстовом сравнении «lasagna» не совпадает с эталонным «lasagne». Оценка учитывает оба вида несовпадений.

InstructTTSEval: ошибки в манере речи

В InstructTTSEval мы сохраняем один и тот же произносимый текст и генерируем отдельные фрагменты с тремя типами инструкций:

• APS (Acoustic-Parameter Specification — задание акустических параметров) подробно задаёт свойства голоса: высоту тона, темп, громкость и тембр. Например: «Низкий тон, медленный темп, тихая громкость и слегка придыхательный голос».
• DSD (Descriptive-Style Directive — описание манеры речи) описывает подачу обычными словами, оставляя часть свойств голоса на усмотрение модели. Например: «Говори тепло и ободряюще».
• RP (Role-Play — ролевая подача) задаёт персонажа или ситуацию и предлагает модели самой определить звучание. Например: «Ты врач, который успокаивает встревоженного пациента».

Процент для каждого типа показывает, как часто сгенерированная речь соответствовала этой инструкции.

В большую группу входят 25 английских и 25 китайских исходных реплик, по три проверки на каждую: 150 фрагментов на систему. Nova охватывает 25 английских реплик и 75 проверок. Общая оценка — число успешных проверок, делённое на общее число проверок; при равном размере задач это среднее APS, DSD и RP. Сохранённый оценщик на базе Gemini Pro выносит вердикты о манере речи, а расшифровка отдельно проверяет произнесённые слова.

Исходные записи — оригинальное аудио бенчмарка с человеческой речью. Мы оцениваем его с теми же инструкциями и оценщиком, что и прогоны на 150 проверок, чтобы дать синтезированным голосам точку отсчёта. Результат 73.3% означает, что оценщик принял 110 из 150 проверок инструкций.

В сопоставимой группе из 150 проверок FireRedTTS3-Instruct набирает 65.3%, а MOSS-VoiceGenerator — 56.0%. У TTS Google результат 67.3%. На 75 английских проверках FireRed набирает 72.0%, MOSS — 52.0%, Google — 72.0%. Прогон VoxCPM2 в BF16 остаётся на уровне 59.3%; результат ролевой подачи 46.0% ниже результатов описания голоса и указаний о манере речи. Более крупная модель Qwen CustomVoice набирает 52.7%, а меньшая модель с экспериментальной подачей инструкций — 48.0%. Сам по себе размер не определяет оценку.

Наше преобразование инструкций в теги ElevenLabs потеряло запросы на пение и некоторые изменения эмоций. CosyVoice3 не прошла проверку произнесённых слов в 48 из 50 фрагментов APS; в её настройке генерации также отсутствовала подача референса, предусмотренная официальной реализацией. Эти проблемы ещё нужно проверить с исправленными входными данными. Исправленный прогон Fish и несколько других строк содержат ответы оценщика с утверждением, что аудио недоступно; мы сохраняем эти вердикты и помечаем затронутые строки как предварительные. Это результаты наших портов, адаптеров ввода и оценщика, а не вывод о том, что исходная модель имеет те же ограничения в любой реализации.

Большинство ошибок на человеческих записях приходится на ролевую подачу: не пройдены 29 из 50 проверок, по сравнению с восемью для APS и тремя для DSD. Реальная запись может соответствовать подробному описанию голоса, но не назначенной роли; оценщик тоже может ошибаться. Строка с исходными записями помогает интерпретировать оценки следования инструкциям, а не оценивает качество человеческой речи.

Создание голоса по описанию как движок синтеза

Модель VoiceDesign от Qwen создаёт голос по текстовому описанию. CustomVoice применяет указания к выбранному готовому голосу. Важны конкретная модель и канал управления: поле с именем «instruction» не даёт модели способность, которой её не обучали.

Мы проверили Qwen3-TTS 1.7B VoiceDesign и Breeze TTS 2 на одних и тех же пяти английских и пяти китайских исходных записях, по 30 проверок на модель. Четыре калибровочные проверки в оценки не входят. Мы сохранили все результаты, включая по одному фрагменту у каждой модели, отмеченному проверкой произнесённых слов.

VoiceDesign прошла 23/30 проверок, а Breeze — 20/30. Десять исходных записей используются во всех трёх задачах, поэтому это предварительная оценка на наборе разработки. Для парной разницы в 10 процентных пунктов интервал с группировкой по исходным записям широк и включает ноль. Настройки оценщика также отличаются от большой группы, поэтому пилот не доказывает, что VoiceDesign превосходит результат Google в 67.3%.

FireRedTTS3-Instruct и MOSS-VoiceGenerator теперь имеют по 150 проверок манеры речи в таблице выше. Отдельная проверка содержания отметила 0/150 фрагментов FireRed и 12/150 фрагментов MOSS с долей ошибок в словах выше 30%. Примеры измерений скорости на коротком тексте остаются в Space. На английском тексте после прогрева первый PCM появлялся примерно через 4.50 с у FireRed и 0.47 с у MOSS; FireRed возвращает целую звуковую волну, а MOSS выдаёт аудио потоком. Эти задержки не определяют качество следования инструкциям и не дают сопоставимого рейтинга качества и скорости. Проверка задержки и памяти существующих моделей пока не позволяет сделать окончательный вывод.

Исследования смены реплик выходят за рамки определения их конца

Состояние исследований на 30 октября 2026 года. Официальная таблица TurnBench на отложенном тестовом наборе включает более новые заявки, помимо исходных базовых моделей из статьи. В описании системы p99 указаны 6.1 миллиона обученных параметров, дополнительные классификационные головы и политика смены реплик, использующая оба аудиоканала. Модель для скачивания под Apache 2.0 содержит моноканальную модель с 5.3 миллиона параметров. В нашу таблицу смены реплик включена именно эта доступная для скачивания модель.

eot-bench от LiveKit дополняет эту оценку реальными репликами людей в разговорах с агентами на 14 языках. Он перебирает политики определения конца реплики и сравнивает задержку при фиксированном допустимом уровне преждевременных обрывов, включая полную кривую компромиссов. Это полезный следующий шаг для многоязычного продукта: порог, подходящий английскому, может не подойти другому языку.

MultiPartyTurnBench, представленный в этом месяце, расширяет управление передачей слова на разговоры с двумя–пятью участниками. Авторы сообщают о высоких результатах выбора момента вступления в разговор, но о близком к случайному качестве избирательной обработки прерываний у проверенных агентов. Сгенерированные разговоры дают контролируемые тесты, которые нужно дополнять проверками на реальном аудио. Для встреч и общих комнат недостаточно просто расширить правило конца реплики для двух собеседников.

Full-Duplex-Bench v3 сочетает реальную речь с запинками и цепочки вызовов инструментов, выявляя ошибки при самоисправлениях и многошаговых действиях. DuplexAct, также представленный в этом месяце, оценивает действия во взаимодействии и доведение их до конца. Мы рассматриваем их как взаимодополняющие проверки разрыва между обнаружением события и завершением полезного взаимодействия. В этой статье мы не запускали эти новые бенчмарки.

Приватный синтез, управляемый дубляж и выбор английского голоса

Приватная среда исполнения и SDK для работы на устройстве от Soniqo дают компоненты для речевых приложений в вашей собственной инфраструктуре. Мы работаем с командами, которые строят конвейеры выразительного синтеза и дубляжа с управлением эмоциями: сохранить нужные слова, выбрать голос, задать манеру речи и затем проверить результат в контексте.

Движок создания голоса по описанию можно подключить на этапе синтеза, оставив политику смены реплик и выполнение инструментов отдельными компонентами. Для сцены с дикторским текстом приложение может явно задать спокойное ободрение или нарастающую настойчивость, не полагаясь на определение эмоции и изменение исполнения без режиссёрского контроля. Для дубляжа также нужны согласование по времени, постоянство голоса и проверка на слух; три бенчмарка выше не подтверждают качество всего этого процесса.

Варианты английского голоса включают готовые американские и британские голоса из каталога Kokoro. Движки с управлением манерой речи добавляют описания голоса обычными словами. Выбор готового голоса, создание по описанию и клонирование — разные способы управления; их поддержка зависит от модели. Заданный региональный акцент нужно оценивать со слушателями, знакомыми с этим вариантом языка: точность расшифровки и сходство говорящего не доказывают подлинность акцента.

При локальном движке и заранее подготовленных файлах модели синтез может оставаться внутри среды развёртывания. Конкретная схема и выбор модели зависят от целевого оборудования и условий модели. Исследовательские данные бенчмарков и веса с ограничениями не дают безусловного права на коммерческое использование.

Какие решения помогают принять эти измерения

• Выбирайте политику смены реплик по её рабочей точке. На нашем срезе разработки VAP и Mimi предлагают разные компромиссы между полнотой, ложными срабатываниями и задержкой. Современные исследования на отложенных наборах уже вышли за рамки этих исходных моделей.
• Считайте полностью выполненные запросы к инструментам. В нашей постановке с десятью действиями Nova выбрала правильный инструмент для 643 поддерживаемых запросов; в 368 из них также совпали аргументы. Разницу составили неверные значения и пропущенные поля.
• Проверяйте манеру речи по типам инструкций. Ролевая подача слабее в нескольких прогонах. Пилот VoiceDesign заслуживает большего сопоставимого эксперимента, а не заявления о новом абсолютном победителе.

Следующие полезные измерения — большая группа VoiceDesign с одинаковой оценкой, многоязычное определение конца реплики при фиксированной доле преждевременных обрывов и тесты взаимодействия, в которых исправление доходит до финального вызова инструмента. При производственной работе с голосом автоматические оценки нужно дополнять проверкой акцента, естественности и постоянства исполнения человеком.

Изучите актуальные результаты и протоколы, посмотрите speech-swift или обсудите приватное развёртывание. В таблицах выше сохранены размеры прогонов и настройки из указанного снимка результатов.