ประเมินเอเจนต์เสียง: จังหวะผลัดกันพูด การเรียกใช้เครื่องมือ และเสียงพูดที่สื่ออารมณ์

การวัดสามด้านสำหรับการตัดสินใจสามอย่าง

We measure these three abilities separately. An assistant can wait for you to finish speaking and still choose the wrong tool. It can also speak clearly while missing the emotion or style you requested.

เราได้รันโมเดลในเครื่องบน Apple M5 Pro ที่มีหน่วยความจำ 48 GiB สำหรับบริการคลาวด์ เราได้ทดสอบเวอร์ชันและค่าการตั้งค่าของโมเดลที่ระบุไว้ในผลลัพธ์

Each section explains how many recordings we used, which languages we tested, and any results still being checked. These details help you compare the scores.

TurnBench: เมื่อช่วงหยุดหมายถึงจบตาการพูด

TurnBench แยกแยะระหว่างการที่ผู้พูดจบตาของตนกับการหยุดชั่วคราวระหว่างตา และแยกการพูดแทรกออกจากเสียงตอบรับสั้น ๆ เช่น «อืม» ตารางด้านล่างมุ่งที่การตรวจจับจุดจบของตาการพูด

เราใช้บันทึกการบันทึกสาธารณะของ TurnBench และโค้ดให้คะแนนของเราเอง ตารางแสดงขนาดการรันสำหรับแต่ละโมเดล ลีดเดอร์บอร์ดอย่างเป็นทางการใช้ชุดทดสอบแยกต่างหาก

The Recall is the share of real turn endings the model detects. FPR (false-positive rate) is the share of labelled pauses within a turn that it incorrectly treats as the speaker finishing.

ลีดเดอร์บอร์ดของเราจัดอันดับโมเดลตาม Youden’s J (J = recall − FPR) โดยแสดงเป็น J ×100 ค่ายิ่งสูงยิ่งดี official test leaderboard จัดอันดับโมเดลตามค่า recall โดยให้ลำดับแก่โมเดลที่มี FPR สูงกว่า 15% อยู่ต่ำกว่าโมเดลที่ผ่านเกณฑ์

VAP มีค่า Youden’s J สูงที่สุดในการเปรียบเทียบการสนทนาห้าครั้งของเรา: recall 88.2% และ FPR 7.4% Mimi ตรวจจับค่าเท็จน้อยกว่าที่ 2.0% แต่ตรวจจับจุดสิ้นสุดของการสนทนาน้อยกว่าและใช้เวลานานกว่าในการตัดสินใจ

VAP (Voice Activity Projection) ฟังทั้งผู้พูดสองคนบนช่องสัญญาณเสียงแยกกันและทำนายกิจกรรมการพูดที่กำลังจะเกิดขึ้นของพวกเขา โดยใช้บทสนทนาล่าสุดเพื่อประมาณว่าผู้พูดปัจจุบันจะพูดต่อหรือส่งไม้ต่อให้บุคคลอื่น งานวิจัยเกี่ยวกับ VAP แสดงให้เห็นว่ามันเรียนรู้ที่จะใช้คำใบ้ในเสียง เช่น ระดับเสียงและจังหวะ.

เวอร์ชันที่เราใช้งานได้รับการฝึกฝนเพิ่มเติมด้วยเสียงสนทนา 104 ชั่วโมงจาก otoSpeech การตีความของเราคือการฝึกฝนนี้และการมองเห็นผู้พูดทั้งสองคนช่วยอธิบายผลลัพธ์ที่แข็งแกร่งในการเปรียบเทียบของเรา

เรายังได้ทดสอบโมเดล p99 CoreML ที่ดาวน์โหลดได้และ VAP exports ทั้งหมดบนบทสนทนาพัฒนาการสองชุด: 148 จุดสิ้นสุดของเทิร์น และ 94 ช่วงหยุดภายในเทิร์น โดยใช้ nโยบายการตัดสินใจที่กำหนดไว้ล่วงหน้า p99 จับจุดสิ้นสุดได้ 134 จุด พร้อมกับการตรวจจับผิดพลาด 15 ครั้ง; VAP exports ทั้งสองจับได้ 124 จุด พร้อมกับการตรวจจับผิดพลาดสองครั้ง แต่ละ export ตัดสินใจเหตุการณ์เดียวกับ checkpoint เดิม โปรโตคอลการตรวจสอบความถูกต้อง บันทึกอินพุตและจุดตัด แถว VAP เก็บผลลัพธ์จากการรันบทสนทนาห้าชุดที่ใหญ่กว่า

โมเดล p99 CoreML และ VAP CoreML มี API ของ speech-swift VAP ONNX ทำงานผ่านรันไทม์ C++ และ Android คู่มือการรวมระบบ ครอบคลุมการดาวน์โหลดและอินพุตเสียง แอปพลิเคชันของคุณกำหนดนโยบายการตอบสนอง

SLURP: เลือกการกระทำจากคำสั่งเสียง

SLURP ประกอบด้วยคำขอ home-assistant ที่พูดออกมาพร้อมค่าการกระทำและอาร์กิวเมนต์ที่ระบุไว้ ในการทดสอบการกำหนดเส้นทางของเรา การบันทึกแต่ละรายการมาพร้อมกับสิบตัวเลือกการกระทำที่เป็นไปได้และตัวเลือกไม่ดำเนินการ

ชุดข้อมูล 1,000 รายการของเราประกอบด้วยคำขอ 810 รายการที่มีการกระทำที่ถูกต้องพร้อมใช้งาน และ 190 รายการที่ไม่มีการกระทำนั้น เราคาดว่าจะไม่มีการดำเนินการใดๆ สำหรับคำขอ 190 รายการนี้ สิ่งนี้ตรวจสอบว่าโมเดลปฏิเสธคำขอเมื่อการกระทำไม่พร้อมใช้งานหรือไม่

ระบบส่วนใหญ่ใช้การบันทึก 1,000 รายการ รวมถึงเสียงพูดใกล้และเสียงระยะไกล การวัดความแม่นยำของไมโครโฟนระยะไกลวัดการเลือกที่ถูกต้องในการบันทึกที่ทำจากระยะไกลขึ้น เมื่อเครื่องมือที่ร้องขอพร้อมใช้งาน เรียกแม้ว่าเครื่องมือจะขาดหายไป นับคำขอที่ระบบส่งคืนการกระทำแม้ว่าเครื่องมือที่ระบุไว้จะไม่มีอยู่ก็ตาม มันรวมการบันทึกเสียงพูดใกล้และเสียงระยะไกล และไม่ได้วัดการเปิดใช้งานจากเสียงพื้นหลังหรือความเงียบ ตารางแสดงจำนวนที่แน่นอน

ไปป์ไลน์ Parakeet → Gemma 4 E2B ในเครื่องถึงความแม่นยำไมโครโฟนระยะไกล 75.2% ซึ่งใกล้เคียงกับ 75.9% ของ Nova และต่ำกว่า 83.0% ของ GPT Audio แต่สำหรับคำขอ 190 รายการที่เครื่องมือที่ถูกต้องไม่พร้อมใช้งาน Gemma ยังคงเลือกการกระทำถึง 88 ครั้ง: อัตราการเปิดใช้งานผิดพลาด 46.3% ตัวอย่างหนึ่งคือ “ลบรายการ”: เมื่อการลบรายการไม่พร้อมใช้งาน มันจึงเลือกการลบปฏิทิน นอกจากนี้ยังปฏิเสธคำขอ 88 รายการที่เครื่องมือที่ถูกต้องพร้อมใช้งาน และเลือกเครื่องมือผิดในอีก 69 ครั้ง

Jev และ GLiNER เลือกเครื่องมือที่ถูกต้องใน 311 จาก 423 คำขอ far-mic ที่รองรับ ให้ความแม่นยำ 73.5% พฤติกรรมของพวกเขาเปลี่ยนแปลงไปเมื่อไม่มีเครื่องมือที่ถูกต้อง: Jev ยังคงเลือกการดำเนินการใน 22 จาก 190 คำขอ (11.6%) ในขณะที่ GLiNER ทำเช่นนั้นใน 74 (39.0%) ตัวอย่างเช่น GLiNER ตีความคำขอให้ลดระดับเสียงผู้พูดเป็นการหรี่ไฟเมื่อไม่มีเครื่องมือด้านระดับเสียง ตัวอย่างเหล่านี้เลือกการดำเนินการที่แตกต่างจากที่ร้องขอ คำอธิบายเครื่องมือที่กว้างขึ้นก็อาจทับซ้อนกันได้: คำขอสูตรอาหารอาจถูกส่งไปยังเครื่องมือทำอาหารทั่วไป การนับของเราเป็นไปตามเจตนาที่มีคำอธิบายประกอบ ดังนั้นจึงไม่ได้บ่งชี้ว่าทางเลือกอื่น ๆ นั้นไม่สมเหตุสมผลในเชิงความหมาย

Nova ได้คะแนนสูงสุดสำหรับการจับคู่ทั้งเครื่องมือและค่าอาร์กิวเมนต์ที่จำเป็นทั้งหมด: 45.4% หรือ 368 จาก 810 คำขอที่รองรับ มันเลือกเครื่องมือที่ถูกต้องใน 643 คำขอ แต่ค่าอาร์กิวเมนต์ล้มเหลวในการจับคู่ใน 275 รายการ ใน 147 กรณี ค่าแตกต่างจากข้อมูลอ้างอิง; อีก 128 กรณีขาดอย่างน้อยหนึ่งอาร์กิวเมนต์ บางครั้งพร้อมกับความแตกต่างของค่า

ความไม่ตรงกันของค่าที่พบบ่อยที่สุดคือเวลา ซึ่งปรากฏใน 34 กรณี เรายังเห็นวันที่ที่ขาดหายไปและฟิลด์ที่มีชื่อผิด สำหรับคำขอเตือนภัยที่มี “สัปดาห์นี้” Nova ส่งคืนเวลาแต่ละเว้นวันที่ ความล้มเหลวบางอย่างเป็นความแตกต่างของคำพูด: “lasagna” ไม่ตรงกับ “lasagne” ของข้อมูลอ้างอิงภายใต้การเปรียบเทียบข้อความที่เข้มงวด คะแนนนับทั้งสองประเภทของการไม่ตรงกัน

InstructTTSEval: รูปแบบการพูดก็มีข้อผิดพลาดเฉพาะตัว

สำหรับ InstructTTSEval เราคงสคริปต์ที่พูดไว้และสร้างคลิปแยกต่างหากโดยใช้คำสั่งสามประเภท:

• APS (Acoustic-Parameter Specification) ให้การตั้งค่าเสียงโดยละเอียด เช่น ระดับเสียง จังหวะ ปริมาณ และพื้นผิวของเสียง ตัวอย่างเช่น: “ระดับเสียงต่ำ จังหวะช้า ปริมาณเบา และเสียงที่ฟังดูเหมือนหายใจเล็กน้อย”
• DSD (Descriptive-Style Directive) อธิบายการนำเสนอด้วยภาษาธรรมชาติ โดยปล่อยให้ลักษณะของเสียงบางอย่างเปิดกว้าง ตัวอย่างเช่น: “พูดด้วยน้ำเสียงอบอุ่นและให้ความมั่นใจ”
• RP (Role-Play) ให้ตัวละครหรือสถานการณ์ และขอให้โมเดลอนุมานว่าจะต้องมีน้ำเสียงอย่างไร ตัวอย่างเช่น: “คุณเป็นแพทย์ที่ปลอบโยนผู้ป่วยที่วิตกกังวล”

เปอร์เซ็นต์สำหรับแต่ละประเภทแสดงว่าการพูดที่สร้างขึ้นปฏิบัติตามคำสั่งนั้นบ่อยเพียงใด

กลุ่มตัวอย่างที่ใหญ่กว่าประกอบด้วย 25 บรรทัดต้นฉบับภาษาอังกฤษและ 25 บรรทัดภาษาจีน โดยมีการตรวจสอบสามครั้ง: 150 คลิปต่อระบบ Nova ครอบคลุม 25 บรรทัดภาษาอังกฤษ ด้วยการตรวจสอบ 75 ครั้ง โดยรวมคือจำนวนผ่านทั้งหมดหารด้วยจำนวนการตรวจสอบทั้งหมด; ด้วยขนาดงานที่เท่ากัน มันคือค่าเฉลี่ยของ APS, DSD และ RP โมเดลประเมิน Gemini Pro ที่บันทึกให้คำพิพากษาด้านสไตล์ ในขณะที่การถอดเสียงตรวจสอบคำพูดแยกต่างหาก

Original recordings คือเสียงต้นฉบับของเกณฑ์มาตรฐาน เราให้คะแนนด้วยคำสั่งและโมเดลประเมินเดียวกับที่ใช้สำหรับการรัน 150 การตรวจสอบ เพื่อให้เป็นจุดอ้างอิงสำหรับเสียงสังเคราะห์ ความหมาย 73.3% ของพวกเขาหมายความว่าโมเดลประเมินยอมรับการตรวจสอบคำสั่ง 110 จาก 150 ครั้ง

ในกลุ่มตรวจสอบ 150 รายการที่ตรงกัน FireRedTTS3-Instruct ได้คะแนน 65.3% และ MOSS-VoiceGenerator ได้คะแนน 56.0% การรัน TTS ของ Google ได้คะแนน 67.3% ในชุดตรวจสอบภาษาอังกฤษ 75 รายการ FireRed ได้คะแนน 72.0%, MOSS ได้ 52.0% และ Google ได้ 72.0% ผลลัพธ์การแสดงบทบาทของ VoxCPM2 ที่รันด้วย BF16 ยังคงอยู่ที่ 59.3%; ซึ่งอ่อนแอกว่าผลลัพธ์จากการบรรยายเสียงและทิศทางที่ได้ 46.0% จุดตรวจสอบ Qwen CustomVoice ขนาดใหญ่กว่าได้คะแนน 52.7% เทียบกับ 48.0% สำหรับการรันด้วยอินพุตแบบทดลองขนาดเล็ก ขนาดเพียงอย่างเดียวไม่ได้เป็นตัวกำหนดคะแนน

การแปลงจากคำสั่งเป็นแท็กของ ElevenLabs ของเราทำให้การร้องเพลงและการเปลี่ยนแปลงอารมณ์บางอย่างที่ร้องขอหายไป CosyVoice3 ล้มเหลวในการตรวจสอบเนื้อหาคำในคลิป APS จำนวน 48 จาก 50 คลิป; การตั้งค่าการสร้างของมันยังละเว้นการปรับเงื่อนไขอ้างอิงที่มีอยู่ในการใช้งานอย่างเป็นทางการ ปัญหาเหล่านี้ยังคงต้องมีการตรวจสอบอินพุตที่แก้ไขแล้ว ผลลัพธ์จากการรันที่แก้ไขของ Fish และแถวอื่นๆ อีกหลายรายการมีคำตอบจากโมเดลประเมินที่กล่าวว่าไม่มีเสียงให้ใช้งาน; เราเก็บคำพิพากษาเหล่านั้นไว้และทำเครื่องหมายแถวที่ได้รับผลกระทบเป็นชั่วคราว นี่คือผลลัพธ์สำหรับการพอร์ต, ตัวปรับอินพุต และโมเดลประเมินของเรา ไม่ใช่ข้อค้นพบที่ว่าแบบจำลองต้นทางมีขีดจำกัดเดียวกันในทุกการใช้งาน

ความล้มเหลวส่วนใหญ่ในการบันทึกเสียงของมนุษย์อยู่ในส่วนของการสวมบทบาท: 29 จาก 50 การตรวจสอบล้มเหลว เทียบกับแปดรายการสำหรับ APS และสามรายการสำหรับ DSD การบันทึกจริงสามารถรองรับคำอธิบายเสียงโดยละเอียดได้แต่ไม่ตรงกับบทบาทที่กำหนดให้ และโมเดลประเมินก็อาจทำผิดพลาดได้เช่นกัน แถวอ้างอิงช่วยให้เราตีความคะแนนคำสั่ง; มันไม่ได้ให้คะแนนคุณภาพของคำพูดของมนุษย์

ใช้การออกแบบเสียงเป็นระบบสังเคราะห์เสียง

Checkpoint VoiceDesign ของ Qwen สร้างเสียงจากคำอธิบายที่เป็นลายลักษณ์อักษร ในขณะที่ CustomVoice ใช้ทิศทางกับเสียงพรีเซ็ตที่เลือก ไฮไลท์ของ checkpoint และช่องควบคุมมีความสำคัญ: ฟิลด์ชื่อ “instruction” ไม่ได้ให้ความสามารถแก่แบบจำลองที่มันไม่เคยได้รับการฝึกฝนให้ใช้

เราทดสอบ Qwen3-TTS 1.7B VoiceDesign และ Breeze TTS 2 บนแหล่งข้อมูลภาษาอังกฤษและจีนทั้งห้าชุด โดยให้การตรวจสอบ 30 รายการต่อแบบจำลอง การตรวจสอบสอบเทียบสี่รายการอยู่นอกคะแนนของพวกมัน เราเก็บเอาต์พุตทั้งหมด รวมถึงแฟล็กคำพูดหนึ่งรายการต่อแบบจำลอง

VoiceDesign ผ่าน 23/30 รายการ และ Breeze ผ่าน 20/30 รายการ เนื่องจากทั้งสามงานใช้บันทึกต้นทางสิบรายการร่วมกัน นี่จึงเป็นเพียงการประเมินเบื้องต้นระหว่างพัฒนา ผลต่างแบบจับคู่ 10 จุดมีช่วงประมาณค่าที่กว้างเมื่อจัดกลุ่มตามบันทึกต้นทาง และช่วงนี้ครอบคลุมศูนย์ด้วย การตั้งค่าโมเดลประเมินยังต่างจากกลุ่มที่ใหญ่กว่า ดังนั้นการทดลองนี้จึงไม่ได้พิสูจน์ว่า VoiceDesign เหนือกว่าผล 67.3% ของ Google

FireRedTTS3-Instruct และ MOSS-VoiceGenerator ปัจจุบันมีการตรวจสอบสไตล์อย่างละ 150 รายการในตารางด้านบน การตรวจสอบเนื้อหาแยกต่างหากตรวจพบคลิป FireRed 0/150 และคลิป MOSS 12/150 สำหรับข้อผิดพลาดของคำที่สูงกว่า 30% ตัวอย่างรันไทม์สคริปต์สั้นๆ ของพวกเขายังคงอยู่ใน Space PCM ที่พร้อมใช้งานครั้งแรกอยู่ที่ประมาณ 4.50 วินาทีสำหรับ FireRed และ 0.47 วินาทีสำหรับ MOSS บนสคริปต์ภาษาอังกฤษที่อุ่นเครื่อง; FireRed ส่งคืนรูปคลื่นที่สมบูรณ์ในขณะที่ MOSS สตรีมข้อมูล การจับเวลาเหล่านั้นไม่ได้กำหนดคุณภาพคำสั่งหรือการจัดอันดับคุณภาพ-ความเร็วที่ตรงกัน การรับรองความหน่วงและหน่วยความจำของโมเดลที่มีอยู่ยังคงไม่สรุปผล

งานวิจัยการผลัดกันพูดก้าวไกลกว่าการตรวจจับจุดสิ้นสุด

ภาพรวมงานวิจัย ณ 30 ตุลาคม 2026 ตารางอันดับ TurnBench อย่างเป็นทางการบนชุดทดสอบที่กันไว้ มีระบบที่ส่งเข้ามาใหม่เพิ่มเติมจากแบบจำลองพื้นฐานดั้งเดิมในบทความ คำอธิบายระบบของ p99 ระบุพารามิเตอร์ที่เรียนรู้ 6.1 ล้านตัว หัวจำแนกเพิ่มเติม และนโยบายการผลัดกันพูดที่ใช้เสียงทั้งสองช่อง ส่วนรุ่นดาวน์โหลดภายใต้ Apache 2.0 เป็นโมเดลเสียงโมโนที่มีพารามิเตอร์ 5.3 ล้านตัว ตารางการผลัดกันพูดของเรารวมโมเดลที่ดาวน์โหลดได้นี้ไว้ด้วย

eot-bench ของ LiveKit เสริมด้วยเทิร์นระหว่างมนุษย์กับเอเจนต์จริงใน 14 ภาษา มันสแกนทั้งนโยบายการสิ้นสุดและเปรียบเทียบความหน่วงที่งบประมาณการตัดออกที่เป็นเท็จคงที่ รวมถึงเส้นโค้งการแลกเปลี่ยนทั้งหมด นั่นเป็นขั้นตอนต่อไปที่มีประโยชน์สำหรับผลิตภัณฑ์หลายภาษาเพราะเกณฑ์ที่ใช้ได้ผลในภาษาอังกฤษไม่จำเป็นต้องเหมาะกับภาษาอื่น

MultiPartyTurnBench ซึ่งส่งเมื่อเดือนนี้ ขยายการควบคุมเทิร์นจากสองเป็นห้าผู้พูด ผู้เขียนรายงานประสิทธิภาพการเข้าเทิร์นที่แข็งแกร่งควบคู่ไปกับการจัดการการขัดจังหวะแบบเลือกสรรใกล้เคียงโอกาสสำหรับเอเจนต์ที่ประเมิน การสนทนาที่สร้างขึ้นให้การทดสอบที่มีการควบคุม โดยต้องมีการตรวจสอบเสียงจริงควบคู่กันไป การประชุมและห้องที่ใช้ร่วมกันต้องการมากกว่าแค่การขยายกฎจุดสิ้นสุดของผู้พูดสองคน

Full-Duplex-Bench v3 จับคู่คำพูดที่ไม่ราบรื่นจริงกับการเรียกเครื่องมือแบบลูกโซ่ เผยให้เห็นการแก้ไขตนเองและความล้มเหลวหลายขั้นตอน DuplexAct ซึ่งส่งเมื่อเดือนนี้ ประเมินการกระทำของการโต้ตอบและว่าเอเจนต์ติดตามผลหรือไม่ เรามองว่าสิ่งเหล่านี้เป็นการทดสอบเสริมสำหรับช่องว่างระหว่างการตรวจจับเหตุการณ์และการทำให้การโต้ตอบที่เป็นประโยชน์เสร็จสมบูรณ์ เรายังไม่ได้รันเกณฑ์มาตรฐานใหม่เหล่านี้ในโพสต์นี้

การสังเคราะห์ในระบบส่วนตัว การพากย์แบบกำกับ และการเลือกเสียงภาษาอังกฤษ

private runtime และ on-device SDKs ของ Soniqo ให้ส่วนประกอบสำหรับแอปพลิเคชันเสียงในสภาพแวดล้อมของคุณเอง เราทำงานกับทีมที่สร้างไปป์ไลน์การสังเคราะห์ที่แสดงออกและการพากย์ที่มีทิศทางทางอารมณ์: เก็บคำที่ตั้งใจเลือกเสียง จัดหาข้อมูลการนำเสนอ จากนั้นตรวจสอบผลลัพธ์ในบริบท

คุณสามารถเสียบแบ็กเอนด์ออกแบบเสียงเข้าสู่ขั้นตอนการสังเคราะห์ได้ในขณะที่ยังคงแยกนโยบายเทิร์นและการดำเนินการเครื่องมือ สำหรับฉากบรรยาย แอปพลิเคชันสามารถระบุความมั่นใจอย่างสงบหรือความเร่งด่วนที่เพิ่มขึ้นแทนที่จะอนุมานอารมณ์และเปลี่ยนประสิทธิภาพโดยไม่มีการควบคุมของผู้กำกับ เวิร์กโฟลว์การพากย์ยังต้องการจังหวะเวลา ความต่อเนื่องของผู้พูด และการตรวจสอบการฟัง เกณฑ์มาตรฐานทั้งสามข้างต้นไม่ได้รับรองเวิร์กโฟลว์ที่สมบูรณ์นั้น

ตัวเลือกเสียงภาษาอังกฤษรวมถึง เสียงสำเร็จรูปแบบอเมริกันและบริติช ในแคตตาล็อก Kokoro ส่วนท้ายที่คำนึงถึงสไตล์จะเพิ่มบทสรุปเสียงด้วยภาษามนุษย์ การเลือกค่าเริ่มต้น การออกแบบเสียง และการโคลนนิ่งเป็นส่วนควบคุมที่แตกต่างกัน และการรองรับจะแตกต่างกันไปตามโมเดลที่ใช้ ตัวอักษรสำเนียงระดับภูมิภาคที่ร้องขอจำเป็นต้องได้รับการประเมินจากผู้ฟังที่คุ้นเคยกับความหลากหลายนั้น ความแม่นยำในการถอดเสียงและความคล้ายคลึงของเสียงพูดไม่ได้เป็นการพิสูจน์ถึงความเป็นของแท้

ด้วยแบ็กเอนด์และสินทรัพย์โมเดลในพื้นที่ การสังเคราะห์สามารถคงอยู่ในสภาพแวดล้อมการปรับใช้ได้ การปรับใช้ที่แน่นอนและการเลือกโมเดลขึ้นอยู่กับฮาร์ดแวร์เป้าหมายและข้อกำหนดของโมเดล ข้อมูลเกณฑ์มาตรฐานสำหรับการวิจัยเท่านั้นและน้ำหนักโมเดลที่จำกัดไม่ใช่ใบอนุญาตเชิงพาณิชย์แบบครอบคลุม

ทางเลือกที่การวัดเหล่านี้ช่วยสนับสนุน

• เลือกนโยบายรอบสนทนาตามจุดปฏิบัติงาน ในสไลซ์สำหรับนักพัฒนาของเรา VAP และ Mimi นำเสนอการแลกเปลี่ยนระหว่างค่าเรียกคืน อัตราสัญญาณเตือนผิด และความล่าช้าที่แตกต่างกัน การวิจัยที่ถูกเก็บไว้ปัจจุบันได้ก้าวข้ามกว่าเกณฑ์มาตรฐานเดิมเหล่านั้นแล้ว
• นับคำขอเครื่องมือที่สมบูรณ์ ในการตั้งค่าสิบแอ็กชันของเรา Nova เลือกเครื่องมือที่ถูกต้องจาก 643 คำขอที่รองรับ; อีก 368 รายการยังมีอาร์กิวเมนต์ที่ตรงกัน ค่าที่ไม่ถูกต้องและฟิลด์ที่ขาดหายไปเป็นสาเหตุของช่องว่าง
• ทดสอบการส่งมอบตามประเภทคำสั่ง การแสดงบทบาทสมมติเป็นส่วนที่อ่อนแอกว่าในการรันหลายครั้ง งานนำร่อง VoiceDesign สมควรได้รับการเปรียบเทียบที่จับคู่กันมากกว่าข้อกล่าวอ้างถึงผู้ชนะโดยรวมคนใหม่

การวัดที่เป็นประโยชน์ต่อไปของเราคือกลุ่มตัวอย่าง VoiceDesign ที่ใหญ่ขึ้นพร้อมการตัดสินที่จับคู่ได้ การกำหนดจุดสิ้นสุดหลายภาษาในอัตราตัดที่คงที่ และการทดสอบปฏิสัมพันธ์ที่มีการแก้ไขจนถึงการเรียกใช้เครื่องมือสุดท้าย การตรวจสอบโดยมนุษย์เกี่ยวกับสำเนียง ความเป็นธรรมชาติ และความต่อเนื่องของประสิทธิภาพควรอยู่เคียงข้างคะแนนอัตโนมัติสำหรับงานเสียงระดับการผลิต

อ่าน ผลลัพธ์และโปรโตคอลสด สำรวจ speech-swift หรือหารือเกี่ยวกับการ ปรับใช้ส่วนตัว ตารางด้านบนยังคงขนาดการรันและการตั้งค่าจากภาพหน้าจอที่เชื่อมโยง