“Voice agent evaluation” merangkumi beberapa masalah berbeza yang mudah dikelirukan. Sesuatu benchmark mungkin menguji pengecaman pertuturan tanpa menguji penyiapan tugasan, atau menguji panggilan alatan tanpa interaksi lisan secara langsung. Voice Agent Benchmark Landscape wujud untuk menjelaskan sempadan tersebut. Siaran ini adalah tentang cara ia dibina.
Satu baris bagi setiap benchmark, satu soalan bagi setiap medan
Set data ini mempunyai 13 baris dalam keluaran 1 September 2026. Untuk setiap benchmark, ia merekodkan fokus utama dan, sebagai medan berasingan, sama ada benchmark tersebut merangkumi input lisan, output lisan, interaksi berbilang giliran, penggunaan alat, penyiapan matlamat, tindakan komputer atau pelayar, bahan mesyuarat atau bentuk panjang, dan operasi masa nyata. Ia juga merekodkan sama ada data itu awam, lesen kod dan lesen data secara berasingan, alamat repositori, kad set data dan kertas kerja, tarikh terakhir disahkan, dan nota bukti.
Setiap nilai keupayaan ialah salah satu daripada empat perkataan: yes, no, partial atau unclear. “Partial” bermakna keupayaan itu muncul dalam sebahagian suit atau dinilai secara tidak langsung; ia tidak menyatakan apa-apa tentang kualiti. “No” bermakna keupayaan itu berada di luar skop yang diterbitkan atau tidak ada dalam bahan awam, bukan bermakna projek itu tidak akan dapat menyokongnya. “Unclear” digunakan apabila bahan awam tidak mencukupi untuk membuat pengelasan, dan ia kekal sehingga sumber pihak pertama menyelesaikannya.
Sumber adalah daripada pihak pertama, dan lesen direkodkan dua kali
Setiap baris memetik repositori, kad set data atau kertas penyelidikan penyelenggara sendiri. Tiada apa-apa yang dikelaskan daripada penulisan sekunder. Audit sumber dalam repositori menyenaraikan, bagi setiap baris, halaman yang menyokong nilai keupayaan dan halaman yang menyatakan lesen. Lesen kod dan data direkodkan secara berasingan kerana ia lebih kerap berbeza daripada yang orang sangkakan. Kod dan data satu entri adalah di bawah lesen komuniti yang bukan lesen sumber terbuka dan menyekat penggunaan komersial. Kod entri lain pula ialah Apache-2.0 manakala datanya ialah CC BY-NC 4.0 dan berpagar. Pembaca yang memutuskan sama ada untuk menggunakan semula sesuatu benchmark memerlukan kedua-dua fakta ini.
Sebab tiada skor
Papan pendahulu memerlukan tugasan yang dikongsi dan metrik yang dikongsi. Tiga belas projek ini direka untuk tiga belas soalan penilaian yang berbeza, jadi satu kedudukan tunggal akan membandingkan perkara yang tidak dibina untuk dibandingkan. Oleh itu, landskap ini merekodkan apa yang diukur oleh setiap benchmark dan tiada apa-apa tentang prestasi mana-mana sistem padanya. Penyertaan tidak membayangkan pengesahan, dan set data ini tidak mengandungi benchmark pengeluaran 227 sampel peribadi Cue yang diterangkan dalam kajian kes Google DeepMind.
Apa yang peta ini tunjukkan tiada
Apabila dibentangkan begini, landskap awam adalah paling kukuh dalam khidmat pelanggan perbualan, pemilihan alat pertuturan, penilaian kandungan ejen suara dan pengecaman pertuturan. Ia kurang dalam persilangan penaipan suara atas meja berterusan dalam aplikasi sebarangan, transkripsi mesyuarat bentuk panjang dengan nota berstruktur, tindakan komputer merentas aplikasi, pengesahan dan kebolehbalikan kesan sampingan, dan sebarang penilaian tunggal yang menghubungkan kualiti transkripsi dengan hasil pengguna. Repositori ini menyatakan ini sebagai jurang dalam apa yang wujud, bukan sebagai kecacatan dalam mana-mana projek.
Memastikannya jujur
- Fail data mempunyai skema yang didokumenkan dan pemvalidasi. Baris yang melanggar kontrak medan akan gagal dalam semakan.
- Setiap pautan sumber disemak semula mengikut jadual. Ralat 404 atau 410 yang muktamad akan menggagalkan audit. Had kadar dan ralat sementara dilaporkan secara berasingan supaya ia tidak dilabelkan secara salah sebagai pautan rosak.
- Keluaran diarkibkan di Zenodo dengan DOI bagi setiap versi, dan rekod tersebut membawa SHA-256 set data, jadi petikan merujuk kepada fail yang tepat.
- Pembetulan menamakan baris, medan, nilai yang dicadangkan dan sumber pihak pertama, dan dihantar sebagai versi baharu.
Repositori ini berada di github.com/Sophon-LLC/voice-agent-benchmark-landscape. Format petikan dan senarai versi berada di halaman rekod.