„Voice Agent Benchmark Landscape“ yra mūsų skelbiamas duomenų rinkinys: struktūrizuotas viešų „benchmark“ testų žemėlapis, skirtas balso agentams, kalbiniams asistentams, kalba valdomų įrankių naudojimui, veiksmams kompiuteriu, kalbos atpažinimui ir susitikimų supratimui. Šis puslapis yra jo paskelbimo įrašas.
Kas tai yra
- 13 „benchmark“ testų, po vieną eilutę kiekvienam, mašininio skaitymo faile (data/benchmarks.jsonl) su dokumentuota laukų sutartimi (data/schema.json).
- Kiekvienoje eilutėje įrašomas pagrindinis „benchmark“ testo tikslas; ar jis apima kalbinę įvestį, kalbinę išvestį, kelių etapų sąveiką, įrankių naudojimą, tikslo įgyvendinimą, veiksmus kompiuteriu ar naršyklėje, susitikimų ar ilgos formos medžiagą ir veikimą realiuoju laiku; ar duomenys yra vieši; kodo ir duomenų licencijos, įrašytos atskirai; saugyklos, duomenų rinkinio kortelės ir straipsnio adresai; paskutinio patikrinimo data; ir įrodymų pastabos.
- Reikšmės yra „taip“, „ne“, „iš dalies“ arba „neaišku“. „Iš dalies“ reiškia, kad galimybė yra dalyje rinkinio arba vertinama netiesiogiai; tai neapibūdina kokybės.
- Kiekviena eilutė turi bent vieną pirminį šaltinį, nurodytą šaltinių audite. Dabartinio leidimo faktai buvo patikrinti 2026 m. rugsėjo 1 d. iš prižiūrėtojų viešų saugyklų, duomenų rinkinių kortelių ir straipsnių.
Kas tai nėra
- Ne lyderių lentelė. Joje nėra jokių balų ir niekas nerikiuojama. Įtraukimas nereiškia pritarimo. Kodėl ji buvo sukurta būtent taip, paaiškinta straipsnyje Kaip buvo sukurta balso agentų „benchmark“ apžvalga.
- Ne vertinimo sistema. Nėra nieko, ką būtų galima paleisti su modeliu; saugykloje pateikiami duomenys, jų schema, tikrintuvas ir užklausų įrankis.
- Ne Cue „benchmark“ testas. Privatus 227 pavyzdžių gamybinis „benchmark“ testas, aprašytas Google DeepMind atvejo analizėje, nėra jo dalis.
Kur tai skelbiama
| Kur | Adresas | Paskirtis |
|---|---|---|
| GitHub | Sophon-LLC/voice-agent-benchmark-landscape | Oficialus šaltinis: duomenys, schema, šaltinių auditas, prisidėjimo taisyklės, testai |
| Zenodo | doi.org/10.5281/zenodo.22227265 | Archyvuoti leidimai su DOI; koncepcijos DOI visada nukreipia į naujausią versiją. |
| Hugging Face | chatjesus/voice-agent-benchmark-landscape | Duomenų rinkinio kopija. |
Versijos
| Versija | Data | Įrašai | Licencija | Versijos DOI |
|---|---|---|---|---|
| v1.0.2 | 2026 m. rugsėjo 1 d. | 13 | MIT | 10.5281/zenodo.22227266 |
Zenodo įraše, skirtame v1.0.2, pateikiama duomenų rinkinio SHA-256 (1d36c7b3f73565147fb7afff076c611c5fddc331e3ec47dc867625b75b70bbf4), kad atsisiųstą kopiją būtų galima patikrinti pagal archyvuotąją.
Kaip cituoti
Saugyklos faile CITATION.cff kaip autorius nurodyta Sophon LLC. Cituokite versijos DOI, kai svarbus tikslus atkuriamumas, ir koncepcijos DOI, kai kalbama apie besivystantį projektą:
Sophon LLC. Voice Agent Benchmark Landscape, version 1.0.2. 1 September 2026. https://doi.org/10.5281/zenodo.22227266
Pataisymai
Pataisyme nurodoma eilutė, laukas, siūloma vertė ir pirminis šaltinis, laikantis saugyklos CONTRIBUTING.md nurodymų. Pakeitimai išleidžiami kaip nauja versija su nauju DOI.