“Voice agent evaluation” bao gồm nhiều vấn đề khác nhau dễ bị nhầm lẫn. Một benchmark có thể kiểm tra nhận dạng giọng nói mà không kiểm tra việc hoàn thành tác vụ, hoặc kiểm tra các lệnh gọi công cụ mà không có tương tác nói trực tiếp. Voice Agent Benchmark Landscape tồn tại để làm rõ những ranh giới đó. Bài đăng này nói về cách nó được xây dựng.
Mỗi benchmark một hàng, mỗi trường một câu hỏi
Tập dữ liệu có 13 hàng trong bản phát hành ngày 1 tháng 9 năm 2026. Đối với mỗi benchmark, nó ghi lại trọng tâm chính và, ở các trường riêng biệt, liệu benchmark có bao gồm đầu vào bằng giọng nói, đầu ra bằng giọng nói, tương tác nhiều lượt, sử dụng công cụ, hoàn thành mục tiêu, hành động trên máy tính hoặc trình duyệt, tài liệu cuộc họp hoặc dạng dài, và hoạt động thời gian thực hay không. Nó cũng ghi lại liệu dữ liệu có công khai hay không, giấy phép mã nguồn và giấy phép dữ liệu một cách riêng biệt, địa chỉ kho lưu trữ, thẻ tập dữ liệu và bài báo, ngày xác minh lần cuối, và ghi chú bằng chứng.
Mỗi giá trị năng lực là một trong bốn từ: yes, no, partial hoặc unclear. “Partial” có nghĩa là năng lực xuất hiện trong một phần của bộ công cụ hoặc được đánh giá gián tiếp; nó không nói gì về chất lượng. “No” có nghĩa là năng lực nằm ngoài phạm vi đã công bố hoặc không có trong các tài liệu công khai, chứ không phải là dự án không bao giờ có thể hỗ trợ nó. “Unclear” được sử dụng khi tài liệu công khai không đủ để phân loại, và nó sẽ giữ nguyên cho đến khi một nguồn từ chính chủ giải quyết.
Các nguồn là của bên thứ nhất, và giấy phép được ghi lại hai lần
Mỗi hàng trích dẫn kho lưu trữ, thẻ tập dữ liệu hoặc bài báo của chính người duy trì; không có gì được phân loại từ một bài viết thứ cấp. Phần kiểm tra nguồn trong kho lưu trữ liệt kê, cho mỗi hàng, các trang đã hỗ trợ các giá trị năng lực và các trang nêu rõ giấy phép. Giấy phép mã nguồn và dữ liệu được ghi lại riêng biệt vì chúng khác nhau thường xuyên hơn mọi người nghĩ: mã nguồn và dữ liệu của một mục nằm dưới một giấy phép cộng đồng không phải là giấy phép nguồn mở và hạn chế sử dụng thương mại; mã nguồn của một mục khác là Apache-2.0 trong khi dữ liệu của nó là CC BY-NC 4,0 và có kiểm soát. Một người đọc quyết định có nên tái sử dụng một benchmark hay không cần cả hai thông tin này.
Tại sao không có điểm số
Một bảng xếp hạng cần một tác vụ chung và một thước đo chung. Mười ba dự án được thiết kế cho mười ba câu hỏi đánh giá khác nhau, vì vậy một bảng xếp hạng duy nhất sẽ so sánh những thứ không được xây dựng để so sánh. Do đó, bản đồ toàn cảnh này ghi lại những gì mỗi benchmark đo lường và không có gì về cách bất kỳ hệ thống nào hoạt động trên đó. Việc đưa vào không ngụ ý sự chứng thực, và tập dữ liệu không chứa benchmark sản xuất 227 mẫu riêng tư của Cue được mô tả trong nghiên cứu điển hình của Google DeepMind.
Những gì bản đồ cho thấy còn thiếu
Khi được trình bày theo cách này, bối cảnh công khai mạnh nhất ở các lĩnh vực dịch vụ khách hàng đàm thoại, lựa chọn công cụ bằng giọng nói, đánh giá nội dung của trợ lý giọng nói và nhận dạng giọng nói. Nó còn yếu ở giao điểm của việc nhập liệu bằng giọng nói liên tục trên máy tính trong các ứng dụng tùy ý, ghi lại cuộc họp dài với ghi chú có cấu trúc, hành động máy tính trên nhiều ứng dụng, xác nhận và khả năng đảo ngược các tác dụng phụ, và bất kỳ đánh giá đơn lẻ nào kết nối chất lượng bản ghi với kết quả của người dùng. Kho lưu trữ nêu rõ đây là một khoảng trống trong những gì hiện có, không phải là một khiếm khuyết trong bất kỳ dự án nào.
Giữ cho nó trung thực
- Tệp dữ liệu có một lược đồ được tài liệu hóa và một trình xác thực; một hàng vi phạm hợp đồng trường sẽ không qua được kiểm tra.
- Mọi liên kết nguồn đều được kiểm tra lại theo lịch trình. Một lỗi 404 hoặc 410 dứt khoát sẽ không qua được kiểm tra; giới hạn tốc độ và lỗi tạm thời được báo cáo riêng để chúng không bị gán nhãn sai là liên kết hỏng.
- Các bản phát hành được lưu trữ trên Zenodo với một DOI cho mỗi phiên bản, và bản ghi mang theo SHA-256 của tập dữ liệu, vì vậy một trích dẫn chỉ đến một tệp chính xác.
- Các bản sửa lỗi nêu rõ hàng, trường, giá trị đề xuất và một nguồn từ bên thứ nhất, và được phát hành dưới dạng một phiên bản mới.
Kho lưu trữ có tại github.com/Sophon-LLC/voice-agent-benchmark-landscape; định dạng trích dẫn và danh sách phiên bản có trên trang bản ghi.