Voice Agent Benchmark Landscape je skup podataka koji objavljujemo: strukturirana mapa javnih benchmarkova za glasovne agente, govorne asistente, korištenje alata omogućenih govorom, radnje na računalu, prepoznavanje govora i razumijevanje sastanaka. Ova stranica je njegov zapis o objavi.
Što je to
- 13 benchmarkova, svaki u jednom retku, u strojno čitljivoj datoteci (data/benchmarks.jsonl) s dokumentiranim ugovorom o poljima (data/schema.json).
- Svaki redak bilježi primarni fokus benchmarka; pokriva li govorni unos, govorni izlaz, višestruku interakciju, korištenje alata, ispunjavanje ciljeva, radnje na računalu ili u pregledniku, sastanke ili duge materijale i rad u stvarnom vremenu; jesu li podaci javni; licence za kôd i podatke, zabilježene odvojeno; adrese repozitorija, kartice skupa podataka i rada; datum zadnje provjere; i bilješke s dokazima.
- Vrijednosti su da, ne, djelomično ili nejasno. Djelomično znači da se sposobnost pojavljuje u dijelu paketa ili se procjenjuje neizravno; ne opisuje kvalitetu.
- Svaki redak ima barem jedan primarni izvor, naveden u reviziji izvora. Činjenice u trenutnom izdanju provjerene su 1. rujna 2026. iz javnih repozitorija, kartica skupova podataka i radova održavatelja.
Što nije
- Nije rang-lista. Ne sadrži rezultate i ništa ne rangira. Uključivanje ne podrazumijeva podršku. Zašto je izrađen na taj način objašnjeno je u članku Kako je izrađen pregled benchmarkova za glasovne agente.
- Nije evaluacijski okvir. Ne postoji ništa što bi se moglo pokrenuti na modelu; repozitorij isporučuje podatke, njihovu shemu, validator i alat za upite.
- Nije Cueov benchmark. Privatni produkcijski benchmark od 227 uzoraka opisan u studiji slučaja tvrtke Google DeepMind nije njegov dio.
Gdje je objavljen
| Gdje | Adresa | Uloga |
|---|---|---|
| GitHub | Sophon-LLC/voice-agent-benchmark-landscape | Izvor zapisa: podaci, shema, revizija izvora, pravila doprinosa, testovi |
| Zenodo | doi.org/10.5281/zenodo.22227265 | Arhivirana izdanja s DOI-jevima; konceptualni DOI uvijek vodi na najnoviju verziju. |
| Hugging Face | chatjesus/voice-agent-benchmark-landscape | Zrcalna kopija skupa podataka. |
Verzije
| Verzija | Datum | Zapisi | Licenca | DOI verzije |
|---|---|---|---|---|
| v1.0.2 | 1. rujna 2026. | 13 | MIT | 10.5281/zenodo.22227266 |
Zapis na Zenodu za v1.0.2 sadrži SHA-256 skupa podataka (1d36c7b3f73565147fb7afff076c611c5fddc331e3ec47dc867625b75b70bbf4) kako bi se preuzeta kopija mogla provjeriti u odnosu na arhiviranu.
Kako citirati
Datoteka CITATION.cff repozitorija navodi Sophon LLC kao autora. Citirajte DOI verzije kada je važna točna reproducibilnost, a konceptualni DOI za projekt koji se razvija:
Sophon LLC. Voice Agent Benchmark Landscape, version 1.0.2. 1 September 2026. https://doi.org/10.5281/zenodo.22227266
Ispravci
Ispravak navodi redak, polje, predloženu vrijednost i primarni izvor, u skladu s datotekom CONTRIBUTING.md repozitorija. Promjene se isporučuju kao nova verzija s novim DOI-jem.