Voice Agent Benchmark Landscape je podatkovna zbirka, ki jo objavljamo: strukturiran zemljevid javnih benchmarkov za glasovne agente, govorne asistente, uporabo orodij z govorom, dejanja na računalniku, prepoznavanje govora in razumevanje sestankov. Ta stran je njen zapis o objavi.
Kaj je
- 13 benchmarkov, vsak v svoji vrstici, v strojno berljivi datoteki (data/benchmarks.jsonl) z dokumentirano pogodbo o poljih (data/schema.json).
- Vsaka vrstica beleži primarni poudarek benchmarka; ali pokriva govorni vnos, govorni izhod, večizmensko interakcijo, uporabo orodij, dokončanje cilja, dejanja na računalniku ali v brskalniku, sestanke ali daljše gradivo in delovanje v realnem času; ali so podatki javni; licence za kodo in podatke, zabeležene ločeno; naslove repozitorija, kartice podatkovne zbirke in članka; datum zadnjega preverjanja; in opombe o dokazih.
- Vrednosti so da, ne, delno ali nejasno. Delno pomeni, da se zmožnost pojavlja v delu zbirke ali je ovrednotena posredno; ne opisuje kakovosti.
- Vsaka vrstica ima vsaj en primarni vir, naveden v reviziji virov. Dejstva v trenutni izdaji so bila preverjena 1. septembra 2026 iz javnih repozitorijev, kartic podatkovnih zbirk in člankov vzdrževalcev.
Kaj ni
- Ni lestvica. Ne vsebuje rezultatov in ničesar ne razvršča. Vključitev ne pomeni odobritve. Zakaj je bila zgrajena na tak način, je pojasnjeno v Kako je nastal Voice Agent Benchmark Landscape.
- Ni ogrodje za ocenjevanje. Ničesar ni, kar bi se zagnalo na modelu; repozitorij vsebuje podatke, njihovo shemo, validator in orodje za poizvedbe.
- Ni benchmark za Cue. Zasebni produkcijski benchmark z 227 vzorci, opisan v študiji primera Google DeepMind, ni njegov del.
Kje je objavljeno
| Kje | Naslov | Vloga |
|---|---|---|
| GitHub | Sophon-LLC/voice-agent-benchmark-landscape | Vir zapisa: podatki, shema, revizija virov, pravila za prispevanje, testi |
| Zenodo | doi.org/10.5281/zenodo.22227265 | Arhivirane izdaje z DOI-ji; konceptni DOI se vedno razreši na najnovejšo različico. |
| Hugging Face | chatjesus/voice-agent-benchmark-landscape | Zrcalna kopija podatkovne zbirke. |
Različice
| Različica | Datum | Zapisi | Licenca | DOI različice |
|---|---|---|---|---|
| v1.0.2 | 1. september 2026 | 13 | MIT | 10.5281/zenodo.22227266 |
Zapis na Zenodu za v1.0.2 vsebuje SHA-256 podatkovne zbirke (1d36c7b3f73565147fb7afff076c611c5fddc331e3ec47dc867625b75b70bbf4), tako da lahko preneseno kopijo preverite glede na arhivirano.
Kako citirati
Datoteka CITATION.cff v repozitoriju navaja Sophon LLC kot avtorja. Citirajte DOI različice, kadar je pomembna natančna ponovljivost, in konceptni DOI za projekt, ki se razvija:
Sophon LLC. Voice Agent Benchmark Landscape, version 1.0.2. 1 September 2026. https://doi.org/10.5281/zenodo.22227266
Popravki
Popravek navaja vrstico, polje, predlagano vrednost in vir prve stranke v skladu z datoteko CONTRIBUTING.md v repozitoriju. Spremembe so objavljene kot nova različica z novim DOI-jem.