Sesli ajanları ölçmek: konuşma sırası, araç çağrıları ve ifade gücü yüksek konuşma

Üç karar için üç ölçüm

We measure these three abilities separately. An assistant can wait for you to finish speaking and still choose the wrong tool. It can also speak clearly while missing the emotion or style you requested.

Yerel modelleri 48 GiB belleğe sahip bir Apple M5 Pro üzerinde çalıştırdık. Bulut hizmetleri için, sonuçlarda listelenen model sürümlerini ve ayarlarını test ettik.

Each section explains how many recordings we used, which languages we tested, and any results still being checked. These details help you compare the scores.

TurnBench: bir duraklama ne zaman konuşma sırasının sonudur

TurnBench, konuşmacının sözünü bitirmesini konuşma sırası içindeki bir duraklamadan ayırır. Ayrıca araya girmeyi, «hı hı» gibi kısa dinleme işaretlerinden ayırt eder. Aşağıdaki tablo konuşma sırasının sonunu tespit etmeye odaklanır.

TurnBench'in herkese açık geliştirme kayıtlarını ve kendi puanlama kodunu kullandık. Tablo, her model için çalıştırma boyutunu göstermektedir. Resmi liderlik tablosu ayrı bir test seti kullanmaktadır.

The Recall is the share of actual turn endings the model detects. FPR (false-positive rate) is the share of labeled pauses within a turn that it incorrectly treats as the speaker finishing.

Liderlik tablomuz modelleri Youden J indeksine (J = geri çağırma − FPR) göre sıralar ve J ×100 olarak gösterir; yüksek değerler daha iyidir. resmi test liderlik tablosu ise modelleri geri çağırmaya göre sıralar ve %15'in üzerindeki FPR'ye sahip olanları limit karşılayanların altına yerleştirir.

VAP, beş konuşmalı karşılaştırmamızda en yüksek Youden J değerine sahiptir: %88.2 geri çağırma ve %7.4 FPR. Mimi daha az yanlış tespit yapar, %2.0 ile, ancak daha az konuşma sonu yakalar ve karar vermesi daha uzun sürer.

VAP (Sesli Aktivite Yansıtma), iki konuşmacıyı ayrı ses kanallarında dinler ve onların yaklaşan konuşma aktivitesini tahmin eder. Mevcut konuşmayı kullanarak mevcut konuşmacının devam edip etmeyeceğini veya diğer kişiye devredip devretmeyeceğini tahmin eder. VAP üzerine yapılan araştırmalar, perde ve ritim gibi ses ipuçlarını kullanmayı öğrendiğini göstermektedir.

Çalıştırdığımız sürüm, otoSpeech'ten gelen 104 saatlik konuşma sesli verisi üzerinde daha fazla eğitildi. Yorumumuz, bu eğitimin ve iki konuşmacıya bakış açısının, karşılaştırmamızdaki güçlü sonucunu açıklamasına yardımcı olduğudur.

Ayrıca indirilebilir p99 CoreML modelini ve her iki VAP çıktısını iki geliştirme konuşması üzerinde test ettik: sabit karar politikaları kullanılarak 148 dönüş sonu ve bir dönüş içinde 94 duraklama. p99, 15 yanlış tespit ile 134 son yakaladı; her iki VAP çıktısı da iki yanlış tespit ile 124 son yakaladı. Her çıktı, orijinal kontrol noktasındaki olay kararlarını verdi. Doğrulama protokolü girdileri ve kesme noktalarını kaydeder. VAP satırı daha büyük beş konuşmalı çalıştırmayı korur.

p99 CoreML ve VAP CoreML modelleri'nin speech-swift API'leri vardır. VAP ONNX, C++ ve Android çalışma zamanları üzerinden çalışır. Entegrasyon kılavuzu indirmeleri ve ses girdilerini kapsar. Uygulamanız yanıt politikasını ayarlar.

SLURP: sesli komutlardan eylem seçmek

SLURP, etiketlenmiş eylem ve argüman değerleriyle konuşulan home-assistant istekleri içerir. Yönlendirme testimizde, her kayıt on aday eylem ve bir eylemsizlik seçeneği ile birlikte gelir.

1.000 kayıtlı kurulumumuz, doğru eylemin mevcut olduğu 810 istek ve bu eylemin askıya alındığı 190 istektir. Bu 190 istek için eylem beklemiyoruz. Bu, modelin bir eylemi kullanılamadığında reddedip reddetmediğini kontrol eder.

Çoğu sistem, yakın konuşma ve uzak alan sesleri dahil olmak üzere 1.000 kayıt kullanır. Uzak mikrofon doğruluğu, istenen aracın mevcut olduğu durumlarda daha uzaktan yapılan kayıtlardaki doğru seçimleri ölçer. Eksik araçlara rağmen aramalar, etiketlenmiş aracın yok olmasına rağmen sistemin bir eylem döndürdüğü istekleri sayar. Yakın konuşma ve uzak alan kayıtlarını toplar ve arka plan sesinden veya sessizlikten kaynaklanan aktivasyonu ölçmez. Tablo kesin sayıları göstermektedir.

Yerel Parakeet → Gemma 4 E2B hattı, Nova'nın %75.9'ına yakın bir şekilde %75.2 uzak mikrofon doğruluğuna ulaşırken, GPT Audio'nun %83.0'ının gerisinde kaldı. Ancak doğru aracın kullanılamadığı 190 istekten Gemma yine de 88 kez bir eylem seçti: bu da %46.3 yanlış aktivasyon oranıdır. Bir örnek “öğeyi silmek” idi: liste kaldırma kullanılamazken, takvim kaldırmayı seçti. Ayrıca doğru aracı kullanabilmesine rağmen 88 isteği reddetti ve başka bir 69 istekte yanlış aracı seçti.

Jev ve GLiNER, desteklenen 423 far-mik isteğinden 311'inde doğru aracı seçerek %73.5 doğruluk oranı vermektedir. Doğru aracın eksik olduğu durumlarda davranışları değişmektedir: Jev hala 190 isteğin 22'sinde (11.6%) bir eylem seçerken, GLiNER bunu 74'te (%39.0) yapmaktadır. Örneğin, GLiNER, ses aracı mevcut olmadığında konuşmacı sesini alçaltma isteğini bir ışığı karartma olarak yorumlamıştır. Bu örnekler, istenen olandan farklı bir eylem seçmiştir. Daha geniş araç açıklamaları da örtüşebilir: bir tarif isteği genel bir yemek pişirme aracına gönderilebilir. Sayımımız etiketlenmiş niyeti takip ettiği için, her alternatifin anlamsal olarak mantıksız olduğunu göstermemektedir.

Nova, hem aracı hem de gerekli tüm argüman değerlerini eşleştirme konusunda en yüksek skoru elde etti: %45.4 veya 810 desteklenen isteğin 368'i. 643 istekte doğru aracı seçmiş ancak bu isteklerin 275'inde argümanlar eşleşememiştir. 147 durumda değerler referanstan farklıydı; ek olarak 128 durumda en az bir argüman eksikti, bazen de değer farklılıklarıyla birlikte.

En sık görülen değer uyuşmazlığı bir zamandı ve bu durum 34 örnekte görülmüştür. Ayrıca eksik tarihler ve yanlış adlandırılmış alanlar gördük. "Bu hafta" içeren bir alarm isteği için Nova zamanı döndürmüş ancak tarihi bırakmıştır. Bazı başarısızlıklar ifade farklılıklarıdır: Bu katı metin karşılaştırmasında "lasagna", referanstaki "lasagne" ile eşleşmemektedir. Skor her iki türdeki uyuşmazlığı da sayar.

InstructTTSEval: konuşma tarzının kendine özgü hataları

InstructTTSEval için, konuşulan metni sabit tutuyor ve üç tür talimat kullanarak ayrı klipler oluşturuyoruz:

• APS (Acoustic-Parameter Specification) perde, tempo, ses seviyesi ve vokal doku gibi ayrıntılı ses ayarları verir. Örneğin: "Alçak perde, yavaş tempo, yumuşak ses seviyesi ve hafif nefesli bir ses."
• DSD (Descriptive-Style Directive) teslimatı doğal dilde tanımlar ve bazı ses özelliklerini açık bırakır. Örneğin: "Sıcak ve güvence verici bir şekilde konuşun."
• RP (Role-Play) bir karakter veya durum verir ve modelden nasıl ses çıkaracağını çıkarmasını ister. Örneğin: "Endişeli bir hastayı teselli eden bir doktor gibisiniz."

Her tür için yüzde, üretilen konuşmanın o talimatı ne sıklıkla takip ettiğini gösterir.

Daha büyük kohort 25 İngilizce ve 25 Çince kaynak satır içerir, her biri için üç kontrol: sistem başına 150 klip. Nova, 75 kontrol ile 25 İngilizce satırı kapsar. Genel olarak toplam geçiş sayısı toplam kontrole bölünür; görev boyutları eşit olduğunda, APS, DSD ve RP'nin ortalamasıdır. Kaydedilmiş bir Gemini Pro hakemi stil kararlarını sağlarken, transkripsiyon konuşulan kelimeleri ayrı kontrol eder.

Orijinal kayıtlar, kıyaslamanın insan kaynaklı sesidir. Sentetik seslere bir referans noktası vermek için aynı talimatlarla ve 150'lik kontrol çalıştırmalarında kullanılan yargı ile puanlandırılırlar. %73.3'lük oranları, hakemin 150 talimat kontrolünden 110'unu kabul ettiği anlamına gelir.

Eşleştirilen 150'lik kontrol kohortunda FireRedTTS3-Instruct %65.3 ve MOSS-VoiceGenerator %56.0 puan almıştır. Google'ın TTS çalıştırması %67.3 puan almıştır. 75 İngilizce kontrolde FireRed %72.0, MOSS %52.0 ve Google %72.0 almıştır. VoxCPM2'nin BF16 çalışması %59.3'te kalmış; rol yapma sonucu olan %46.0, ses betimlemesi ve yönlendirme sonuçlarından daha düşüktür. Daha büyük Qwen CustomVoice kontrol noktası %52.7 puan alırken, daha küçük deneysel-giriş çalışması %48.0 almıştır. Yalnızca boyut puanı belirlememiştir.

ElevenLabs talimatdan etikete dönüştürme özelliğimiz istenen şarkı söyleme ve bazı duygu değişikliklerini düşürdü. CosyVoice3, 50 APS klibinden 48'inde kelime-içerik kontrolünü geçemedi; oluşturma kurulumu ayrıca resmi uygulamada bulunan referans koşullandırmasını da atladı. Bu sorunlar hala düzeltilmiş-giriş doğrulaması gerektiriyor. Fish'in düzeltilmiş çalışması ve diğer birkaç satır, sesin kullanılamadığına dair hakem yanıtları içeriyor; bu kararları koruyor ve etkilenen satırları geçici olarak işaretliyoruz. Bunlar, bir yukarı akış modelinin her uygulamada aynı sınırlılıklara sahip olduğu anlamına gelen bir bulgu değil, portlarımız, giriş adaptörlerimiz ve hakemimiz için sonuçlardır.

İnsan kayıtlarındaki başarısızlıkların çoğu rol yapmada: 50 kontrolden 29'u başarısız olurken, APS için sekiz, DSD için üç başarısızlık var. Gerçek bir kayıt ayrıntılı bir ses betimlemesine uyabilir ancak ona atanan role uymayabilir ve hakem de hata yapabilir. Referans satırı bize talimat puanlarını yorumlamamızda yardımcı olur; insan konuşmasının kalitesini derecelendirmez.

Ses tasarımını sentez arka ucu olarak kullanmak

Qwen'in VoiceDesign kontrol noktası yazılı bir betimlemeden ses üretir. CustomVoice ise seçilen ön ayarlı sese yönlendirmeler uygular. Kontrol noktası ve kontrol kanalı önemlidir: “instruction” adlı bir alan, bir modele hiç eğitilmediği bir yetenek vermez.

Aynı beş İngilizce ve beş Çince kaynaktan Qwen3-TTS 1.7B VoiceDesign ve Breeze TTS 2'yi test ettik, her model için 30 kontrol verdik. Dört kalibrasyon kontrolü puanlarının dışında kaldı. Tüm çıktıları, modele göre bir konuşma kelimesi bayrağı dahil olmak üzere koruduk.

VoiceDesign 23/30, Breeze ise 20/30 kontrolden geçti. Üç görev aynı on kaynak kaydı paylaştığı için bu, geliştirme aşamasında yapılan bir ön değerlendirmedir. Eşleştirilmiş karşılaştırmadaki 10 puanlık farkın kaynak kayda göre gruplanarak hesaplanan aralığı geniştir ve sıfırı içerir. Değerlendiricinin ayarları da daha büyük gruptakilerden farklıdır; dolayısıyla bu pilot, VoiceDesign’ın Google’ın 67.3% sonucunu aştığını göstermez.

FireRedTTS3-Instruct ve MOSS-VoiceGenerator artık yukarıdaki tabloda ayrı ayrı 150 stil kontrolüne sahip. Ayrı içerik kontrolü, FireRed kliplerinde 0/150 ve MOSS kliplerinde %30'un üzerinde kelime hatası için 12/150 tespit etti. Kısa betik çalışma zamanı örnekleri Space'te kalmaktadır. Sıcak İngilizce betikte ilk mevcut PCM yaklaşık 4.50 saniye FireRed için ve 0.47 saniye MOSS için idi; FireRed eksiksiz bir dalga formu döndürürken MOSS akış yapar. Bu zamanlamalar talimat kalitesini veya eşleştirilmiş kalite-hız sıralamasını belirlemez. Mevcut model gecikme ve bellek sertifikasyonu sonuç vermeye devam etmektedir.

Konuşma sırası araştırmaları bitiş tespitinin ötesine geçiyor

Araştırma özeti: 30 Ekim 2026. resmi TurnBench ayrılmış test seti, makalenin orijinal temel çizgilerinin ötesinde daha yeni gönderileri içermektedir. p99'un sistem yazısı 6.1 milyon öğrenilmiş parametre, ek sınıflandırma başlıkları ve her iki ses kanalını da kullanan bir dönüş politikası tanımlamaktadır. Apache 2.0 indirme bağlantısı ise 5.3 milyon parametreli mono modeli içermektedir. Dönüş alma tablomuz bu indirilebilir kontrol noktasını içermektedir.

LiveKit'in eot-bench bunu 14 dilde gerçek insan-ajan dönüşleriyle tamamlıyor. Uç nokta politikalarını tarıyor ve tam takas eğrisini de kapsayarak sabit bir yanlış kesme bütçesinde gecikmeyi karşılaştırıyor. Bu, çok dilli bir ürün için kullanışlı bir sonraki adımdır çünkü İngilizce'de işe yarayan bir eşik başka bir dil için uygun olmak zorunda değildir.

MultiPartyTurnBench, bu ay gönderildi ve zemin kontrolünü iki ila beş konuşmacıya genişletiyor. Yazarları, değerlendirilen ajanlar için güçlü dönüş giriş performansı ile neredeyse şansa yakın seçici kesme yönetimi işleyişi rapor ediyor. Ürettiği konuşmalar kontrollü testler sunuyor ve bunlarla birlikte gerçek sesli kontroller gerektiriyor. Toplantılar ve ortak odalar, iki konuşmacılı bir uç nokta kuralını genişletmekten daha fazlasını gerektirir.

Full-Duplex-Bench v3 gerçek akıcı olmayan konuşmayı zincirlenmiş araç çağrılarıyla eşleştirerek öz düzeltmeleri ve çok adımlı başarısızlıkları ortaya çıkarıyor. Bu ay gönderilen DuplexAct ise etkileşim eylemlerini ve ajanın takip edip etmediğini değerlendiriyor. Bunları, bir olayı tespit etmek ile kullanışlı bir etkileşimi tamamlamak arasındaki boşluk için tamamlayıcı testler olarak görüyoruz. Bu yeni temel çizgileri bu gönderide çalıştırmadık.

Özel sentez, yönlendirilmiş dublaj ve İngilizce ses seçenekleri

Soniqo'nun özel çalışma zamanı ve cihaz üzerinde SDK'ları, kendi ortamınızda konuşma uygulamaları için yapı taşları sağlıyor. İfade edici sentez ve duygusal yönlendirilmiş dublaj hatları oluşturan ekiplerle çalışıyoruz: amaçlanan kelimeleri koruyun, bir ses seçin, bir sunum özeti sağlayın, ardından sonucu bağlam içinde gözden geçirin.

Dönüş politikasını ve araç yürütmesini ayrı tutarak sentez aşamasına bir ses tasarımı arka ucu takabilirsiniz. Anlatılmış bir sahne için, uygulama bir duygü çıkarıp performansı değiştirmek yerine sakinleştirici güvence veya artan aciliyet belirtebilir. Bir dublaj iş akışı da zamanlama, konuşmacı sürekliliği ve dinleme incelemesi gerektirir; yukarıdaki üç temel çizgi de bu eksiksiz iş akışını sertifikalandırmaz.

Kokoro kataloğundaki Amerikan ve İngiliz ön ayarlı sesler içerir. Stil farkındalığı olan arka uçlar doğal dil ses özetleri ekler. Ön ayarlı seçim, ses tasarımı ve klonlama ayrı kontrollerdir ve destek modelden modele değişir. İstenen bölgesel aksan, o çeşitliliğe aşina dinleyicilerle değerlendirilmelidir; transkripsiyon doğruluğu ve konuşmacı benzerliği özgünlüğü kanıtlamaz.

Yerel bir arka uç ve model varlıkları sağlanmışsa, sentez dağıtım ortamında kalabilir. Tam dağıtım ve model seçimi hedef donanıma ve modelin şartlarına bağlıdır. Sadece araştırma amaçlı kıyaslama verileri ve kısıtlı model ağırlıkları genel bir ticari lisans değildir.

Bu ölçümlerin desteklediği seçimler

• Çalışma noktasına göre bir dönüş politikası seçin. Geliştirme dilimimizde, VAP ve Mimi farklı geri çağırma, yanlış alarmlama ve gecikme takasları sunar. Mevcut ayrılmış araştırma, bu orijinal temel çizgilerin ötesine geçmiştir.
• Tam araç isteklerini sayın. On eylem düzenimizde, Nova 643 desteklenen istekte doğru aracı seçti; 368'de de eşleşen argümanlar vardı. Yanlış değerler ve eksik alanlar farkı oluşturdu.
• Talimat türüne göre teslimatı test edin. Rol yapma, birkaç çalıştırmada daha zayıf bir alandır. VoiceDesign pilotu, yeni genel bir kazanan iddiasından ziyade daha büyük eşleştirilmiş bir karşılaştırma gerektirir.

Bir sonraki faydalı ölçümlerimiz; eşleştirilmiş değerlendirmeli daha büyük bir VoiceDesign kohortu, sabit kesme oranlarında çok dilli uç nokta tespiti ve son araç çağrısına kadar düzeltme taşıyan etkileşim testleridir. Aksan, doğal olma ve performans sürekliliğinin insan incelemesi, üretim ses çalışması için otomatik puanların yanında yer almalıdır.

Lütfen canlı sonuçlara ve protokollere bakın, speech-swift'i keşfedin veya bir özel dağıtım hakkında konuşun. Yukarıdaki tablolar, bağlantılı anlık görüntünün çalıştırma boyutlarını ve ayarlarını korur.