Sprachagenten messen: Sprecherwechsel, Werkzeugaufrufe und ausdrucksstarke Sprache

Drei Messungen für drei Entscheidungen

We measure these three abilities separately. An assistant can wait for you to finish speaking and still choose the wrong tool. It can also speak clearly while missing the emotion or style you requested.

Wir haben die lokalen Modelle auf einem Apple M5 Pro mit 48 GiB Speicher ausgeführt. Für Cloud-Dienste haben wir die in den Ergebnissen aufgeführten Modellversionen und Einstellungen getestet.

Each section explains how many recordings we used, which languages we tested, and any results still being checked. These details help you compare the scores.

TurnBench: Wann eine Pause das Ende eines Redebeitrags bedeutet

TurnBench unterscheidet das Ende eines Redebeitrags von einer Pause innerhalb des Beitrags. Außerdem trennt es Unterbrechungen von kurzen Zuhörersignalen wie „mhm“. Die folgende Tabelle konzentriert sich auf die Erkennung des Beitragsendes.

Wir verwendeten TurnBenchs öffentliche Entwicklungsaufnahmen und seinen eigenen Scoring-Code. Die Tabelle zeigt die Laufgröße für jedes Modell. Die offizielle Rangliste verwendet einen separaten Testdatensatz.

The Recall is the share of actual turn endings the model detects. FPR (false-positive rate) is the share of labeled pauses within a turn that it incorrectly treats as the speaker finishing.

Unsere Rangliste ordnet Modelle nach dem Youden-J-Index (J = Recall − FPR), dargestellt als J ×100; höhere Werte sind besser. Die offizielle Testrangliste rankt Modelle nach Recall und platziert diejenigen mit einem FPR über 15% unter denen, die diesen Grenzwert einhalten.

VAP hat den höchsten Youden-J-Wert in unserem Vergleich von fünf Konversationen: 88.2% Recall und 7.4% FPR. Mimi weist weniger Fehlalarme mit 2.0% auf, erfasst aber weniger Gesprächswechsel und benötigt länger für eine Entscheidung.

VAP (Voice Activity Projection) hört beide Sprecher auf separaten Audiokanälen und prognostiziert deren bevorstehende Sprachaktivität. Es nutzt das kürzliche Gespräch, um abzuschätzen, ob der aktuelle Sprecher fortfahren oder an die andere Person übergeben wird. Forschung zu VAP zeigt, dass es lernt, Hinweise in der Stimme zu nutzen, wie Tonhöhe und Rhythmus.

Die von uns verwendete Version wurde zusätzlich mit 104 Stunden konversationellem Audio von otoSpeech trainiert. Unsere Interpretation ist, dass dieses Training und dessen Blick auf beide Sprecher helfen, seinen starken Vergleichserfolg zu erklären.

Wir haben auch das herunterladbare p99 CoreML-Modell und beide VAP-Exporte an zwei Entwicklungsgesprächen getestet: 148 Gesprächsende und 94 Pausen innerhalb eines Gesprächs, unter Verwendung fester Entscheidungsrichtlinien. p99 erfasste 134 Endungen mit 15 falschen Detektionen; beide VAP-Exporte erfassten 124 mit zwei falschen Detektionen. Jeder Export traf dieselben ereignisbasierten Entscheidungen wie sein ursprünglicher Checkpoint. Das Validierungsprotokoll zeichnet die Eingaben und Schwellenwerte auf. Die VAP-Zeile behält den größeren Lauf mit fünf Gesprächen bei.

Die Modelle p99 CoreML und VAP CoreML verfügen über speech-swift APIs. VAP ONNX läuft durch die C++ und Android Laufzeiten. Der Integrationsleitfaden behandelt Downloads und Audioeingaben. Ihre Anwendung legt die Antwortrichtlinie fest.

SLURP: Aktionen anhand gesprochener Befehle auswählen

SLURP enthält gesprochene home-assistant-Anfragen mit einem annotierten Aktions- und Argumentwert. In unserem Routing-Test wird jede Aufnahme mit zehn Kandidatenaktionen und einer Option ohne Aktion geliefert.

Unser Setup mit 1.000 Aufnahmen umfasst 810 Anfragen mit verfügbarer korrekter Aktion und 190 mit nicht verfügbarer Aktion. Wir erwarten bei diesen 190 Anfragen keine Aktion. Dies prüft, ob das Modell eine Anfrage ablehnt, wenn ihre Aktion nicht verfügbar ist.

Die meisten Systeme verwenden 1.000 Aufnahmen, einschließlich Nah- und Fernfeld-Audio. Die Genauigkeit bei Ferngesprächen misst korrekte Entscheidungen bei Aufnahmen, die aus größerer Entfernung gemacht wurden, wenn das angeforderte Werkzeug verfügbar ist. Anrufe trotz fehlendem Werkzeug zählt Anfragen, bei denen das System eine Aktion zurückgab, obwohl das annotierte Werkzeug abwesend war. Es fasst Nah- und Fernfeldaufnahmen zusammen und misst keine Aktivierung durch Hintergrundgespräche oder Stille. Die Tabelle zeigt die genauen Zählungen.

Die lokale Parakeet → Gemma 4 E2B Pipeline erreicht eine Ferngesprächsgenauigkeit von 75,2 %, nahe an Nova's 75,9 % und hinter GPT Audio's 83,0 %. Aber bei den 190 Anfragen, deren korrektes Werkzeug nicht verfügbar war, wählte Gemma immer noch 88 Mal eine Aktion: seine falsche Aktivierungsrate von 46,3 %. Ein Beispiel war „delete item“: Bei nicht verfügbarer Listenentfernung wählte es Kalenderentfernung. Es lehnte auch 88 Anfragen ab, bei denen das korrekte Werkzeug verfügbar war, und wählte stattdessen bei weiteren 69 die falsche Aktion.

Sowohl Jev als auch GLiNER wählen bei 311 von 423 unterstützten far-mic Anfragen das korrekte Werkzeug und erreichen damit eine Genauigkeit von 73,5 %. Ihr Verhalten ändert sich, wenn das korrekte Werkzeug fehlt: Jev wählt immer noch auf 22 von 190 Anfragen (11,6 %) eine Aktion, während GLiNER dies bei 74 (39,0 %) tut. Beispielsweise interpretierte GLiNER eine Anfrage zur Reduzierung der Sprecherlautstärke als Dimmen eines Lichts, als das Werkzeug für die Lautstärke fehlte. Diese Beispiele wählten eine andere Aktion als die angeforderte. Auch breitere Werkzeugbeschreibungen können sich überschneiden: Eine Rezeptanfrage kann an ein allgemeines Kochwerkzeug gesendet werden. Unsere Zählung folgt der annotierten Absicht und stellt daher nicht fest, dass jede Alternative semantisch unvernünftig war.

Nova erzielt mit 45,4 % oder 368 von 810 unterstützten Anfragen den höchsten Wert für die Übereinstimmung sowohl des Werkzeugs als auch aller erforderlichen Argumentwerte. Es wählte bei 643 Anfragen das korrekte Werkzeug, aber die Argumente stimmten bei 275 davon nicht überein. In 147 Fällen unterschieden sich die Werte von der Referenz; weitere 128 fehlten mindestens ein Argument, manchmal zusammen mit Wertunterschieden.

Die häufigste Abweichung bei Werten war ein Datum, das in 34 dieser Fälle auftrat. Wir verzeichneten auch fehlende Daten und falsch benannte Felder. Bei einer Alarmanfrage, die „diese Woche“ enthielt, gab Nova zwar die Uhrzeit zurück, ließ aber das Datum weg. Einige Fehler sind Wortunterschiede: „Lasagne“ stimmt bei diesem strengen Textvergleich nicht mit der Referenz „lasagne“ überein. Der Score zählt beide Arten von Abweichungen.

InstructTTSEval: Auch der Sprechstil hat eigene Fehlerquellen

Für InstructTTSEval behalten wir das gesprochene Skript konstant und generieren separate Clips mithilfe von drei Arten von Anweisungen:

• APS (Acoustic-Parameter Specification) gibt detaillierte Stimmeneinstellungen an, wie Tonhöhe, Tempo, Lautstärke und stimmliche Textur. Zum Beispiel: „Niedrige Tonhöhe, langsames Tempo, sanfte Lautstärke und eine leicht kehlige Stimme.“
• DSD (Descriptive-Style Directive) beschreibt die Darbietung in natürlicher Sprache und lässt einige Stimmmerkmale offen. Zum Beispiel: „Sprechen Sie warmherzig und beruhigend.“
• RP (Role-Play) gibt ein Charakter oder eine Situation vor und bittet das Modell, zu vermuten, wie es klingen soll. Zum Beispiel: „Sie sind ein Arzt, der einem ängstlichen Patienten Trost spendet.“

Der Prozentsatz für jeden Typ zeigt, wie oft die generierte Sprache dieser Anweisung folgte.

Die größere Kohorte enthält 25 englische und 25 chinesische Quellzeilen, jeweils drei Prüfungen: 150 Clips pro System. Nova deckt die 25 englischen Zeilen mit 75 Prüfungen ab. Insgesamt ist es der Gesamtpass bei den Gesamtprüfungen geteilt; bei gleichen Aufgabengrößen ist es der Mittelwert von APS, DSD und RP. Ein gespeicherter Gemini Pro Judge liefert die Stilurteile, während die Transkription die gesprochenen Wörter separat überprüft.

Original recordings sind das menschliche Quell-Audio des Benchmarks. Wir bewerten sie mit denselben Anweisungen und dem Judge, der für die 150-Prüfungsdurchläufe verwendet wurde, um den synthetisierten Stimmen einen Referenzpunkt zu geben. Ihr Wert von 73,3 % bedeutet, dass der Judge 110 von 150 Anweisungsprüfungen akzeptierte.

Auf dem gematchten 150-Prüfungs-Kohort erreicht FireRedTTS3-Instruct einen Score von 65,3 % und MOSS-VoiceGenerator einen Score von 56,0 %. Googles TTS-Durchlauf erzielt 67,3 %. Bei den 75 englischen Prüfungen erreicht FireRed 72,0 %, MOSS 52,0 % und Google 72,0 %. VoxCPM2s BF16-Durchlauf bleibt bei 59,3 %; sein Rollenspiel-Ergebnis von 46,0 % ist schwächer als seine Ergebnisse zu Stimmbeschreibung und Richtung. Der größere Qwen CustomVoice-Checkpoint erreicht 52,7 %, verglichen mit 48,0 % für den kleineren Durchlauf mit experimenteller Eingabe. Allein die Größe bestimmte nicht den Score.

Unsere ElevenLabs-Umwandlung von Anweisungen in Tags ließ das angeforderte Singen und einige Emotionsänderungen zurückfallen. CosyVoice3 scheiterte bei der Wortinhaltsprüfung an 48 von 50 APS-Clips; sein Generierungseinsatz ließ auch die Referenzkonditionierung aus, die in der offiziellen Implementierung vorhanden ist. Diese Probleme erfordern weiterhin eine Validierung der korrigierten Eingabe. Fishs korrigierter Durchlauf und mehrere andere Zeilen enthalten Urteilsantworten, die besagten, das Audio sei nicht verfügbar; wir bewahren diese Urteile bei und kennzeichnen die betroffenen Zeilen als vorläufig. Dies sind Ergebnisse für unsere Ports, Eingabeadapter und den Bewerter, und keine Feststellung, dass ein Upstream-Modell in jeder Implementierung dieselben Grenzen hat.

Die meisten Fehler bei menschlichen Aufnahmen betreffen das Rollenspiel: 29 von 50 Prüfungen scheitern, gegenüber acht bei APS und drei bei DSD. Eine reale Aufnahme kann einer detaillierten Stimmbeschreibung entsprechen, aber nicht zur zugewiesenen Rolle passen. Auch der Bewerter kann Fehler machen. Die Referenzzeile hilft uns, die Bewertungen zur Befolgung von Anweisungen einzuordnen; sie beurteilt nicht die Qualität menschlicher Sprache.

Stimmgestaltung als Backend für die Sprachsynthese

Qwen’s VoiceDesign-Checkpoint generiert eine Stimme aus einer geschriebenen Beschreibung. CustomVoice wendet stattdessen Richtungen auf eine ausgewählte voreingestellte Stimme an. Der Checkpoint und der Steuerkanal sind wichtig: ein Feld namens „instruction“ gibt einem Modell keine Fähigkeit, für die es nie trainiert wurde.

Wir testeten Qwen3-TTS 1.7B VoiceDesign und Breeze TTS 2 an denselben fünf englischen und fünf chinesischen Quellen, was je Modell 30 Prüfungen ergibt. Vier Kalibrierungsprüfungen fallen außerhalb ihrer Scores. Wir behielten alle Ausgaben bei, einschließlich einer gesprochenen Wort-Flagge pro Modell.

VoiceDesign bestand 23/30 Prüfungen, Breeze 20/30. Da dieselben zehn Ausgangsaufnahmen für alle drei Aufgaben verwendet werden, ist dies eine vorläufige Bewertung während der Entwicklung. Die gepaarte Differenz von 10 Prozentpunkten hat ein breites, nach Ausgangsaufnahme gruppiertes Intervall, das null einschließt. Auch die Einstellungen des Bewerters unterscheiden sich von denen der größeren Vergleichsgruppe. Der Pilot belegt daher nicht, dass VoiceDesign Googles Ergebnis von 67.3% übertrifft.

FireRedTTS3-Instruct und MOSS-VoiceGenerator haben nun jeweils 150 Stilprüfungen in der obigen Tabelle. Die separate Inhaltsprüfung wies bei FireRed-Clips 0/150 und bei MOSS-Clips 12/150 Fehlerquoten für Wörter über 30% auf. Ihre kurzen Skript-Laufzeitbeispiele befinden sich weiterhin im Space. Das erste verfügbare PCM betrug für FireRed etwa 4,50 s und für MOSS 0,47 s beim warmen englischen Skript; FireRed gibt eine vollständige Wellenform zurück, während MOSS streamt. Diese Zeitangaben stellen weder die Anweisungsqualität noch ein abgestimmtes Qualitäts-Geschwindigkeitsranking dar. Die bestehende Zertifizierung von Latenz und Speicher bleibt unschlüssig.

Die Forschung zum Sprecherwechsel geht über die Endpunkterkennung hinaus

Forschungsstand: 30. Oktober 2026. Die offizielle TurnBench-Bestenliste für den zurückgehaltenen Testdatensatz umfasst neuere Einreichungen als die ursprünglichen Basismodelle des Papers. Die Systembeschreibung von p99 nennt 6.1 Millionen trainierte Parameter, zusätzliche Klassifikationsköpfe und eine Regelung des Sprecherwechsels, die beide Audiokanäle nutzt. Der Download unter Apache 2.0 enthält das Mono-Modell mit 5.3 Millionen Parametern. Unsere Tabelle zum Sprecherwechsel enthält diesen herunterladbaren Checkpoint.

LiveKit’s eot-bench ergänzt dies mit realen Mensch-zu-Agent-Gesprächen in 14 Sprachen. Es durchsucht Endpunktierungsrichtlinien und vergleicht die Latenz bei einem festen False-Cutoff-Budget, einschließlich der gesamten Tradeoff-Kurve. Das ist ein nützlicher nächster Schritt für ein mehrsprachiges Produkt, da ein Schwellenwert, der im Englischen funktioniert, nicht für eine andere Sprache geeignet sein muss.

MultiPartyTurnBench, diesen Monat eingereicht, erweitert die Gesprächssteuerung von zwei auf fünf Sprecher. Seine Autoren berichten von einer starken Leistung beim Gesprächseinstieg zusammen mit einem nahezu zufälligen selektiven Unterbreitungsmanagement für die evaluierten Agenten. Die generierten Konversationen bieten kontrollierte Tests, wobei neben real-Audio-Prüfungen diese erforderlich sind. Meetings und gemeinsame Räume erfordern mehr als nur eine Erweiterung einer Zwei-Sprecher-Endpunktregel.

Full-Duplex-Bench v3 paart reale dysfluente Sprache mit verketteten Tool-Aufrufen und legt Selbstkorrekturen und mehrstufige Fehler frei. DuplexAct, ebenfalls diesen Monat eingereicht, evaluiert Interaktionsaktionen und ob der Agent nachkommt. Wir sehen dies als ergänzende Tests für die Lücke zwischen dem Erkennen eines Ereignisses und dem Abschließen einer nützlichen Interaktion. Diese neueren Benchmarks haben wir in diesem Beitrag nicht ausgeführt.

Private Synthese, angeleitete Synchronisation und englische Stimmen

Soniqos private Runtime und On-Device SDKs bieten Bausteine für Sprachanwendungen in Ihrer eigenen Umgebung. Wir arbeiten mit Teams zusammen, die expressive Synthese und emotional gesteuerte Dubbing-Pipelines erstellen: Behalten Sie die beabsichtigten Wörter bei, wählen Sie eine Stimme, liefern Sie ein Vortragsbriefing und überprüfen Sie dann das Ergebnis im Kontext.

Sie können einen Voice-Design-Backend in die Synthesestufe einbinden und dabei die Gesprächsführungspolitik und die Tool-Ausführung getrennt halten. Für eine rezitierte Szene kann die Anwendung „ruhige Beruhigung“ oder „steigende Dringlichkeit“ spezifizieren, anstatt eine Emotion zu inferieren und die Performance ohne Regieanweisung zu ändern. Ein Dubbing-Workflow benötigt ebenfalls Timing, Sprecherkontinuität und eine Hörprüfung; die drei oben genannten Benchmarks zertifizieren diesen vollständigen Workflow nicht.

Die englischen Stimmoptionen umfassen amerikanische und britische voreingestellte Stimmen im Kokoro-Katalog. Stilbewusste Backends fügen natürliche Sprach-Stimmbeschreibungen hinzu. Die Auswahl von Voreinstellungen, das Voice Design und das Cloning sind separate Steuerelemente, und die Unterstützung variiert je nach Modell. Ein angefragter regionaler Akzent erfordert eine Bewertung durch Zuhörer, die mit dieser Variante vertraut sind; Transkriptionsgenauigkeit und Sprecherähnlichkeit stellen keine Authentizität dar.

Mit einem lokalen Backend und bereitgestellten Modellressourcen kann die Synthese in der Bereitstellungsumgebung verbleiben. Die genaue Bereitstellung und Modellauswahl hängen von der Zielhardware und den Bedingungen des Modells ab. Forschungs-Benchmarks und eingeschränkte Modellgewichte stellen keine pauschale kommerzielle Lizenz dar.

Welche Entscheidungen diese Messungen unterstützen

• Wählen Sie eine Zugangsrichtlinie nach ihrem Betriebspunkt. In unserem Dev Slice bieten VAP und Mimi unterschiedliche Abwägung zwischen Recall, False Alarm und Verzögerung. Aktuelle Forschung außerhalb des Trainingsdatensatzes ist über diese ursprünglichen Basislinien hinausgegangen.
• Anzahl der vollständigen Tool-Anfragen zählen. In unserem zehnstufigen Setup wählte Nova bei 643 unterstützten Anfragen das korrekte Werkzeug; 368 hatten auch passende Argumente. Falsche Werte und fehlende Felder trugen zur Lücke bei.
• Testen Sie die Wiedergabe nach Instruktionstyp. Rollenspiele ist in mehreren Durchläufen ein schwächeres Feld. Der VoiceDesign-Pilot rechtfertigt einen größeren abgeglichenen Vergleich, anstatt eine Behauptung eines neuen Gesamtsiegers aufzustellen.

Unsere nächsten nützlichen Messungen sind ein größerer VoiceDesign-Kohort mit abgestimmter Bewertung, mehrsprachiges Endpunkt-Detection bei festen Abschneidraten und Interaktionstests, die eine Korrektur bis zum endgültigen Tool-Aufruf durchführen. Die menschliche Überprüfung von Akzent, Natürlichkeit und Leistungskontinuität gehört neben den automatischen Scores für professionelle Spracharbeiten.

Lesen Sie die Live-Ergebnisse und Protokolle, erkunden Sie speech-swift oder besprechen Sie eine private Bereitstellung. Die obigen Tabellen behalten die Durchlaufgrößen und Einstellungen aus dem verlinkten Snapshot bei.