Đánh giá tác nhân giọng nói: lượt thoại, gọi công cụ và giọng nói biểu cảm

Ba phép đo cho ba quyết định

Chúng tôi đo lường ba khả năng này một cách riêng biệt. Một trợ lý có thể đợi bạn nói xong và vẫn chọn sai công cụ. Nó cũng có thể nói rõ ràng trong khi bỏ sót cảm xúc hoặc phong cách mà bạn yêu cầu.

Chúng tôi đã chạy các mô hình cục bộ trên Apple M5 Pro với 48 GiB bộ nhớ. Đối với các dịch vụ đám mây, chúng tôi đã kiểm tra các phiên bản và cài đặt mô hình được liệt kê trong kết quả.

Mỗi phần giải thích số lượng bản ghi chúng tôi đã sử dụng, ngôn ngữ nào chúng tôi đã thử nghiệm và bất kỳ kết quả nào vẫn đang được kiểm tra. Những chi tiết này giúp bạn so sánh điểm số.

TurnBench: khi khoảng dừng là dấu hiệu kết thúc lượt nói

TurnBench phân biệt việc người nói kết thúc lượt với một khoảng dừng trong lượt. Nó cũng phân biệt sự ngắt lời với tín hiệu lắng nghe ngắn như «ừm». Bảng bên dưới tập trung vào phát hiện kết thúc lượt nói.

Chúng tôi đã sử dụng các bản ghi phát triển công khai của TurnBench và mã tính điểm riêng. Bảng hiển thị kích thước chạy cho mỗi mô hình. Bảng xếp hạng chính thức sử dụng một bộ kiểm tra riêng.

Độ thu hồi là tỷ lệ các điểm kết thúc lượt nói thực tế mà mô hình phát hiện được. Tỷ lệ dương tính giả (FPR) là tỷ lệ các khoảng dừng được gán nhãn trong một lượt nói mà nó xử lý sai thành việc người nói đã kết thúc.

Bảng xếp hạng của chúng tôi sắp xếp các mô hình theo chỉ số Youden’s J (J = recall − FPR), hiển thị dưới dạng J ×100; giá trị càng cao càng tốt. bảng xếp hạng kiểm tra chính thức xếp hạng các mô hình theo recall, đặt những mô hình có FPR trên 15% dưới những mô hình đáp ứng giới hạn.

VAP có chỉ số Youden’s J cao nhất trong so sánh năm cuộc hội thoại của chúng tôi: độ thu hồi 88.2% và FPR 7.4%. Mimi ít phát hiện sai hơn, ở mức 2.0%, nhưng bắt được ít điểm kết thúc lượt lời hơn và mất nhiều thời gian hơn để quyết định.

VAP (Voice Activity Projection) lắng nghe cả hai người nói trên các kênh âm thanh riêng biệt và dự đoán hoạt động lời nói sắp tới của họ. Nó sử dụng cuộc trò chuyện gần đây để ước tính xem người nói hiện tại có tiếp tục hay nhường lời cho người kia. Nghiên cứu về VAP cho thấy nó học cách sử dụng các tín hiệu trong giọng nói, chẳng hạn như cao độ và nhịp điệu.

Phiên bản chúng tôi chạy được huấn luyện thêm trên 104 giờ âm thanh hội thoại từ otoSpeech. Cách hiểu của chúng tôi là việc huấn luyện này và cái nhìn về cả hai người nói giúp giải thích kết quả mạnh mẽ của nó trong so sánh của chúng tôi.

Chúng tôi cũng đã kiểm tra mô hình CoreML p99 có thể tải xuống và cả hai bản xuất VAP trên hai cuộc trò chuyện phát triển: 148 điểm kết thúc lượt nói và 94 khoảng dừng trong một lượt, sử dụng các chính quyết định cố định. p99 bắt được 134 điểm kết thúc với 15 lần phát hiện sai; cả hai bản xuất VAP bắt được 124 với hai lần phát hiện sai. Mỗi bản xuất đã đưa ra các quyết định sự kiện giống như điểm kiểm tra gốc của nó. Giao thức xác thực ghi lại các đầu vào và ngưỡng cắt. Hàng VAP giữ lại lần chạy năm cuộc trò chuyện lớn hơn.

Các mô hình p99 CoreML và VAP CoreML có các API speech-swift. VAP ONNX chạy qua các runtime C++ và Android. Hướng dẫn tích hợp bao gồm tải xuống và đầu vào âm thanh. Ứng dụng của bạn đặt chính sách phản hồi.

SLURP: chọn hành động từ lệnh bằng giọng nói

SLURP chứa các yêu cầu home-assistant bằng lời nói với giá trị hành động và đối số được chú thích. Trong bài kiểm tra định tuyến của chúng tôi, mỗi bản ghi đi kèm với mười hành động ứng viên và một tùy chọn không hành động.

Thiết lập 1.000 bản ghi của chúng tôi bao gồm 810 yêu cầu có hành động chính xác khả dụng và 190 yêu cầu mà hành động đó bị giữ lại. Chúng tôi mong đợi không có hành động nào đối với 190 yêu cầu đó. Điều này kiểm tra xem mô hình có từ chối một yêu cầu khi hành động của nó không khả dụng hay không.

Hầu hết các hệ thống sử dụng 1.000 bản ghi, bao gồm âm thanh nói gần và xa. Độ chính xác mic từ xa đo lường các lựa chọn đúng trên các bản ghi được thực hiện từ khoảng cách xa hơn, khi công cụ được yêu cầu khả dụng. Gọi mặc dù thiếu công cụ đếm các yêu cầu mà hệ thống đã trả về một hành động ngay cả khi công cụ được chú thích vắng mặt. Nó gộp các bản ghi nói gần và xa, và không đo lường kích hoạt từ giọng nói nền hoặc im lặng. Bảng cho thấy số lượng chính xác.

Đường dẫn Parakeet → Gemma 4 E2B cục bộ đạt độ chính xác mic từ xa là 75.2%, gần với mức 75.9% của Nova và thấp hơn GPT Audio ở mức 83.0%. Nhưng đối với 190 yêu cầu mà công cụ đúng không khả dụng, Gemma vẫn chọn một hành động 88 lần: tỷ lệ kích hoạt sai 46.3%. Một ví dụ là “xóa mục”: khi việc xóa danh sách không khả dụng, nó đã chọn xóa lịch. Nó cũng từ chối 88 yêu cầu mà công cụ đúng có sẵn và chọn công cụ sai trong 69 trường hợp khác.

Cả Jev và GLiNER đều chọn công cụ chính xác trong 311 trên 423 yêu cầu micrô xa được hỗ trợ, đạt độ chính xác 73.5%. Hành vi của họ thay đổi khi thiếu công cụ chính xác: Jev vẫn chọn hành động trong 22 trên 190 yêu cầu (11.6%), trong khi GLiNER thực hiện điều đó với 74 (39.0%). Ví dụ, GLiNER đã diễn giải một yêu cầu giảm âm lượng người nói thành việc làm mờ đèn khi công cụ âm lượng vắng mặt. Những ví dụ này đã chọn một hành động khác với hành động được yêu cầu. Các mô tả công cụ rộng hơn cũng có thể trùng lặp: một yêu cầu công thức nấu ăn có thể được gửi đến một công cụ nấu ăn chung. Số đếm của chúng tôi tuân theo ý định được chú thích, vì vậy nó không thiết lập rằng mọi lựa chọn thay thế đều vô lý về mặt ngữ nghĩa.

Nova có điểm cao nhất trong việc khớp cả công cụ và tất cả các giá trị đối số bắt buộc: 45.4%, hay 368 trên 810 yêu cầu được hỗ trợ. Nó đã chọn đúng công cụ trong 643 yêu cầu, nhưng các đối số đã không khớp trong 275 yêu cầu đó. Trong 147 trường hợp giá trị khác với tài liệu tham khảo; thêm 128 trường hợp bỏ sót ít nhất một đối số, đôi khi cùng với sự khác biệt về giá trị.

Sự không khớp giá trị thường gặp nhất là thời gian, xuất hiện trong 34 trường hợp. Chúng tôi cũng thấy ngày bị thiếu và các trường được đặt tên sai. Đối với yêu cầu báo thức bao gồm “tuần này”, Nova đã trả về thời gian nhưng bỏ qua ngày. Một số lỗi là do khác biệt về cách diễn đạt: “lasagna” không khớp với “lasagne” của tài liệu tham khảo theo so sánh văn bản nghiêm ngặt này. Điểm tính cả hai loại không khớp.

InstructTTSEval: cách thể hiện giọng nói có những lỗi riêng

Đối với InstructTTSEval, chúng tôi giữ kịch bản được nói cố định và tạo các đoạn clip riêng bằng ba loại hướng dẫn khác nhau:

• APS (Acoustic-Parameter Specification) cung cấp cài đặt giọng nói chi tiết, chẳng hạn như cao độ, nhịp độ, âm lượng và kết cấu giọng nói. Ví dụ: “Cao độ thấp, nhịp độ chậm, âm lượng nhẹ và giọng hơi thở.”
• DSD (Descriptive-Style Directive) mô tả cách thể hiện bằng ngôn ngữ tự nhiên, để một số đặc điểm giọng nói mở. Ví dụ: “Nói một cách ấm áp và trấn an.”
• RP (Role-Play) đưa ra một nhân vật hoặc tình huống và yêu cầu mô hình suy luận về cách phát âm. Ví dụ: “Bạn là bác sĩ đang an ủi bệnh nhân lo lắng.”

Phần trăm cho mỗi loại cho thấy tần suất giọng nói được tạo ra tuân theo hướng dẫn đó.

Nhóm lớn hơn chứa 25 dòng nguồn tiếng Anh và 25 dòng nguồn tiếng Trung, ba lần kiểm tra mỗi loại: 150 clip trên mỗi hệ thống. Nova bao gồm 25 dòng tiếng Anh, với 75 lần kiểm tra. Tổng thể là tổng số lần vượt qua chia cho tổng số lần kiểm tra; với kích thước nhiệm vụ bằng nhau, nó là giá trị trung bình của APS, DSD và RP. Một giám khảo Gemini Pro được lưu trữ cung cấp các phán quyết về phong cách, trong khi việc phiên âm kiểm tra lời nói riêng biệt.

Original recordings là âm thanh nguồn của bộ tiêu chuẩn. Chúng tôi chấm điểm chúng bằng cùng các hướng dẫn và giám khảo được sử dụng cho các lần chạy 150 kiểm tra để cung cấp một điểm tham chiếu cho giọng nói tổng hợp. Tỷ lệ 73.3% của chúng có nghĩa là giám khảo đã chấp nhận 110 trên 150 lần kiểm tra theo hướng dẫn.

Trên tập hợp 150 kiểm tra khớp, FireRedTTS3-Instruct đạt điểm 65.3% và MOSS-VoiceGenerator đạt 56.0%. Chạy TTS của Google đạt 67.3%. Trên 75 bài kiểm tra tiếng Anh, FireRed đạt 72.0%, MOSS 52.0% và Google 72.0%. Kết quả BF16 của VoxCPM2 vẫn ở mức 59.3%; kết quả nhập vai của nó, 46.0%, yếu hơn so với kết quả mô tả giọng nói và chỉ đạo của nó. Bộ kiểm tra Qwen CustomVoice lớn hơn đạt 52.7%, so với 48.0% của lần chạy đầu vào thử nghiệm nhỏ hơn. Bản thân kích thước không quyết định điểm số.

Việc chuyển đổi từ hướng dẫn sang thẻ (tag) của ElevenLabs của chúng tôi đã làm giảm các yêu cầu hát và một số thay đổi cảm xúc. CosyVoice3 đã thất bại trong kiểm tra nội dung từ vựng trên 48/50 đoạn clip APS; thiết lập tạo của nó cũng bỏ qua điều kiện tham chiếu có mặt trong triển khai chính thức. Những vấn đề này vẫn cần xác thực đầu vào được sửa chữa. Các lần chạy đã sửa và một số hàng khác của Fish chứa phản hồi của giám khảo tuyên bố âm thanh không khả dụng; chúng tôi giữ lại các phán quyết đó và đánh dấu các hàng bị ảnh hưởng là tạm thời. Đây là kết quả cho các cổng (port), bộ điều hợp đầu vào và giám khảo của chúng tôi, chứ không phải là phát hiện rằng một mô hình nguồn có những giới hạn tương tự trong mọi triển khai.

Hầu hết các lỗi trên các bản ghi âm của con người đều nằm ở phần nhập vai: 29/50 kiểm tra thất bại, so với tám cho APS và ba cho DSD. Một bản ghi thực tế có thể phù hợp với mô tả giọng nói chi tiết nhưng không khớp với vai trò được chỉ định, và giám khảo cũng có thể mắc lỗi. Hàng tham chiếu giúp chúng tôi diễn giải điểm số hướng dẫn; nó không đánh giá chất lượng của lời nói con người.

Thiết kế giọng nói làm bộ máy tổng hợp

Checkpoint VoiceDesign của Qwen tạo ra giọng nói từ một mô tả bằng văn bản. CustomVoice thay vào đó áp dụng các chỉ đạo cho một giọng được chọn sẵn (preset voice). Checkpoint và kênh điều khiển rất quan trọng: một trường có tên “instruction” không cung cấp cho mô hình một khả năng mà nó chưa bao giờ được huấn luyện để sử dụng.

Chúng tôi đã kiểm tra Qwen3-TTS 1.7B VoiceDesign và Breeze TTS 2 trên cùng năm nguồn tiếng Anh và năm nguồn tiếng Trung, cho mỗi mô hình 30 bài kiểm tra. Bốn bài kiểm tra hiệu chuẩn nằm ngoài điểm số của chúng. Chúng tôi giữ lại tất cả các đầu ra, bao gồm một cờ từ lời nói cho mỗi mô hình.

VoiceDesign vượt qua 23/30 phép kiểm tra, còn Breeze đạt 20/30. Ba loại nhiệm vụ dùng chung mười bản ghi nguồn, nên đây chỉ là đánh giá sơ bộ trong quá trình phát triển. Chênh lệch ghép cặp 10 điểm có khoảng ước lượng rộng khi nhóm theo bản ghi nguồn và khoảng này chứa giá trị không. Cấu hình mô hình đánh giá cũng khác nhóm lớn hơn, vì vậy thử nghiệm này không chứng minh VoiceDesign vượt kết quả 67.3% của Google.

FireRedTTS3-Instruct và MOSS-VoiceGenerator hiện đều có 150 lần kiểm tra phong cách trong bảng trên. Việc kiểm tra nội dung riêng đã gắn cờ 0/150 đoạn clip FireRed và 12/150 đoạn clip MOSS về lỗi từ vựng trên 30%. Các mẫu thời gian chạy kịch bản ngắn của chúng vẫn nằm trong Space. PCM có sẵn đầu tiên là khoảng 4.50 giây đối với FireRed và 0.47 giây đối với MOSS trên kịch bản tiếng Anh ấm; FireRed trả về dạng sóng hoàn chỉnh trong khi MOSS truyền phát. Những thời điểm này không xác lập chất lượng hướng dẫn hay xếp hạng chất lượng-tốc độ phù hợp. Việc chứng nhận độ trễ và bộ nhớ của mô hình hiện có vẫn chưa kết luận.

Nghiên cứu lượt thoại đã vượt ra ngoài việc phát hiện điểm kết thúc

Ảnh chụp nhanh nghiên cứu: ngày 30 tháng 10 năm 2026. Bảng kiểm thử TurnBench chính thức được giữ lại bao gồm các bài nộp mới hơn ngoài các đường cơ sở ban đầu của bài báo. Bản tóm tắt hệ thống của p99 mô tả 6.1 triệu tham số đã học, các đầu phân loại bổ sung và một chính sách lượt sử dụng cả hai kênh âm thanh. Tải xuống Apache 2.0 của nó chứa mô hình đơn âm với 5.3 triệu tham số. Bảng quản lý lượt của chúng tôi bao gồm điểm kiểm tra có thể tải xuống đó.

eot-bench của LiveKit bổ sung điều này bằng các lượt tương tác thực tế giữa người và tác nhân trong 14 ngôn ngữ. Nó quét các chính sách kết thúc điểm và so sánh độ trễ tại một ngân sách cắt giả cố định, bao gồm toàn bộ đường cong đánh đổi. Đó là bước tiếp theo hữu ích cho một sản phẩm đa ngôn ngữ vì ngưỡng hoạt động tốt trong tiếng Anh không nhất thiết phù hợp với ngôn ngữ khác.

MultiPartyTurnBench, được nộp tháng này, mở rộng kiểm soát sàn từ hai lên năm người nói. Các tác giả của nó báo cáo hiệu suất vào lượt mạnh mẽ cùng với việc xử lý ngắt lời chọn lọc gần như ngẫu nhiên cho các tác nhân được đánh giá. Các cuộc trò chuyện do nó tạo ra cung cấp các bài kiểm tra có kiểm soát, cần kiểm tra âm thanh thực tế bên cạnh chúng. Các cuộc họp và phòng chung đòi hỏi nhiều hơn là mở rộng quy tắc kết thúc điểm hai người nói.

Full-Duplex-Bench v3 ghép nối lời nói không trôi chảy thực tế với các lệnh gọi công cụ chuỗi, phơi bày việc tự sửa và các lỗi nhiều bước. DuplexAct, cũng được nộp tháng này, đánh giá các hành động tương tác và liệu tác nhân có theo sau hay không. Chúng tôi xem đây là các bài kiểm tra bổ sung cho khoảng cách giữa phát hiện một sự kiện và hoàn thành một tương tác hữu ích. Chúng tôi chưa chạy các điểm chuẩn mới hơn này trong bài đăng này.

Tổng hợp riêng, lồng tiếng có chỉ đạo và lựa chọn giọng tiếng Anh

Các runtime riêng và SDK trên thiết bị của Soniqo cung cấp các khối xây dựng cho các ứng dụng giọng nói trong môi trường của riêng bạn. Chúng tôi làm việc với các nhóm xây dựng các quy trình tạo sinh biểu cảm và lồng tiếng có định hướng cảm xúc: giữ lại các từ dự định, chọn một giọng nói, cung cấp bản tóm tắt cách thể hiện, sau đó xem xét kết quả trong ngữ cảnh.

Bạn có thể cắm một backend thiết kế giọng nói vào giai đoạn tổng hợp trong khi giữ chính sách lượt và thực thi công cụ riêng biệt. Đối với một cảnh tường thuật, ứng dụng có thể chỉ định sự trấn an điềm tĩnh hoặc sự khẩn cấp tăng lên thay vì suy luận một cảm xúc và thay đổi màn trình diễn mà không cần sự kiểm soát của đạo diễn. Quy trình lồng tiếng cũng cần thời gian, tính liên tục của người nói và xem xét nghe; ba điểm chuẩn trên không chứng nhận quy trình làm việc hoàn chỉnh đó.

Các lựa chọn giọng nói tiếng Anh bao gồm giọng mẫu Mỹ và Anh trong danh mục Kokoro. Các backend nhận biết phong cách bổ sung các bản tóm tắt giọng nói bằng ngôn ngữ tự nhiên. Lựa chọn mẫu, thiết kế giọng nói và nhân bản là các điều khiển riêng biệt, và mức độ hỗ trợ khác nhau tùy theo mô hình. Cần đánh giá giọng địa phương được yêu cầu với người nghe quen thuộc với biến thể đó; độ chính xác phiên âm và độ tương đồng người nói không xác lập tính xác thực.

Với backend cục bộ và các tài sản mô hình được cung cấp, việc tổng hợp có thể ở lại môi trường triển khai. Việc triển khai và lựa chọn mô hình chính xác phụ thuộc vào phần cứng mục tiêu và các điều khoản của mô hình. Dữ liệu benchmark chỉ dành cho nghiên cứu và trọng số mô hình hạn chế không phải là giấy phép thương mại chung.

Những lựa chọn được các phép đo này hỗ trợ

• Chọn chính sách lượt lời theo điểm vận hành của nó. Trong lát cắt phát triển của chúng tôi, VAP và Mimi cung cấp các đánh đổi khác nhau về độ thu hồi, báo động giả và độ trễ. Nghiên cứu giữ lại hiện tại đã vượt ra ngoài các mức cơ sở ban đầu đó.
• Đếm số yêu cầu công cụ hoàn chỉnh. Trong thiết lập mười hành động của chúng tôi, Nova đã chọn công cụ chính xác trên 643 yêu cầu được hỗ trợ; 368 cũng có các đối số khớp. Các giá trị sai và trường bị thiếu chiếm phần chênh lệch.
• Kiểm tra cách thể hiện theo loại hướng dẫn. Nhập vai là một lĩnh vực yếu hơn trong nhiều lần chạy. Bản thí điểm VoiceDesign cần một so sánh khớp lớn hơn, thay vì tuyên bố về người chiến thắng tổng thể mới.

Các phép đo hữu ích tiếp theo của chúng tôi là một nhóm VoiceDesign lớn hơn với việc đánh giá khớp, phát hiện điểm cuối đa ngôn ngữ ở tốc độ cắt cố định và các bài kiểm tra tương tác mang lại sự điều chỉnh đến lệnh gọi công cụ cuối cùng. Việc xem xét thủ công về giọng điệu, tính tự nhiên và tính liên tục của hiệu suất thuộc bên cạnh điểm số tự động cho công việc giọng nói sản xuất.

Đọc kết quả và giao thức trực tiếp, khám phá speech-swift, hoặc thảo luận về triển khai riêng. Các bảng trên giữ lại kích thước chạy và cài đặt từ ảnh chụp nhanh được liên kết.