Voice Agent Benchmark Landscape ir mūsu publicēta datu kopa: strukturēta karte ar publiskiem benchmark testiem balss aģentiem, runas asistentiem, runas vadītai rīku lietošanai, darbībām datorā, runas atpazīšanai un sapulču izpratnei. Šī lapa ir tās publikācijas ieraksts.
Kas tas ir
- 13 benchmark testi, katrs savā rindā, mašīnlasāmā failā (data/benchmarks.jsonl) ar dokumentētu lauku līgumu (data/schema.json).
- Katrā rindā ir ierakstīts benchmark primārais fokuss; vai tas aptver runas ievadi, runas izvadi, vairāku gājienu mijiedarbību, rīku lietošanu, mērķa sasniegšanu, darbības datorā vai pārlūkprogrammā, sapulču vai garas formas materiālus un reāllaika darbību; vai dati ir publiski; koda un datu licences, kas ierakstītas atsevišķi; repozitorija, datu kopas kartes un raksta adreses; pēdējās pārbaudes datums; un pierādījumu piezīmes.
- Vērtības ir “jā”, “nē”, “daļēji” vai “neskaidri”. “Daļēji” nozīmē, ka spēja parādās daļā no komplekta vai tiek novērtēta netieši; tas neapraksta kvalitāti.
- Katrā rindā ir vismaz viens primārais avots, kas norādīts avotu auditā. Pašreizējā laidiena fakti tika pārbaudīti 2026. gada 1. septembrī no uzturētāju publiskajiem repozitorijiem, datu kopu kartēm un rakstiem.
Kas tas nav
- Tas nav rezultātu saraksts. Tas nesatur rezultātus un neko neierindo. Iekļaušana nenozīmē atbalstu. Kāpēc tas tika veidots šādi, ir aprakstīts rakstā Kā tika veidota balss aģentu benchmark ainava.
- Tā nav novērtēšanas sistēma. Nav nekā, ko palaist pret modeli; repozitorijs piegādā datus, to shēmu, validatoru un vaicājumu rīku.
- Tas nav Cue benchmark. Privātais 227 paraugu ražošanas benchmark, kas aprakstīts Google DeepMind gadījuma izpētē, nav tā daļa.
Kur tas ir publicēts
| Kur | Adrese | Loma |
|---|---|---|
| GitHub | Sophon-LLC/voice-agent-benchmark-landscape | Oficiālais avots: dati, shēma, avotu audits, ieguldījumu noteikumi, testi |
| Zenodo | doi.org/10.5281/zenodo.22227265 | Arhivēti laidieni ar DOI; koncepta DOI vienmēr norāda uz jaunāko versiju. |
| Hugging Face | chatjesus/voice-agent-benchmark-landscape | Datu kopas spogulis. |
Versijas
| Versija | Datums | Ieraksti | Licence | Versijas DOI |
|---|---|---|---|---|
| v1.0.2 | 2026. gada 1. septembris | 13 | MIT | 10.5281/zenodo.22227266 |
Zenodo ierakstā par v1.0.2 ir norādīts datu kopas SHA-256 (1d36c7b3f73565147fb7afff076c611c5fddc331e3ec47dc867625b75b70bbf4), lai lejupielādētu kopiju varētu pārbaudīt salīdzinājumā ar arhivēto.
Kā citēt
Repozitorija failā CITATION.cff kā autors ir norādīts Sophon LLC. Citējiet versijas DOI, ja ir svarīga precīza reproducējamība, un koncepta DOI, ja atsaucaties uz projektu kopumā:
Sophon LLC. Voice Agent Benchmark Landscape, version 1.0.2. 1 September 2026. https://doi.org/10.5281/zenodo.22227266
Labojumi
Labojumā jānorāda rinda, lauks, ierosinātā vērtība un primārais avots, sekojot repozitorija failam CONTRIBUTING.md. Izmaiņas tiek publicētas kā jauna versija ar jaunu DOI.