Voice Agent Benchmark Landscape on meie avaldatud andmestik: struktureeritud kaart avalikest benchmark’idest häälagentide, kõneassistentide, kõnepõhise tööriistakasutuse, arvutitoimingute, kõnetuvastuse ja koosolekute mõistmise jaoks. See leht on selle avaldamise register.
Mis see on
- 13 benchmark’i, igaüks ühel real, masinloetavas failis (data/benchmarks.jsonl) koos dokumenteeritud väljade lepinguga (data/schema.json).
- Iga rida dokumenteerib benchmark’i peamise fookuse; kas see hõlmab kõnesisendit, kõneväljundit, mitmevoorulist suhtlust, tööriistakasutust, eesmärgi saavutamist, arvuti või brauseri toiminguid, koosolekuid või pikka materjali ja reaalajas toimimist; kas andmed on avalikud; koodi ja andmete litsentsid eraldi; repositooriumi, andmestiku kaardi ja teadusartikli aadressid; viimase kontrollimise kuupäeva; ja tõendite märkmed.
- Väärtused on jah, ei, osaline või ebaselge. Osaline tähendab, et võimekus esineb komplekti osas või seda hinnatakse kaudselt; see ei kirjelda kvaliteeti.
- Igal real on vähemalt üks esmase osapoole allikas, mis on loetletud allikate auditis. Praeguse versiooni faktid kontrolliti 1. septembril 2026 haldajate avalikest repositooriumidest, andmestike kaartidelt ja teadusartiklitest.
Mida see ei ole
- See ei ole edetabel. See ei sisalda skoore ega sea midagi pingeritta. Kaasamine ei tähenda heakskiitu. Miks see nii ehitati, on kirjas artiklis „Kuidas loodi häälagentide benchmark’ide maastik”.
- See ei ole hindamisraamistik. Pole midagi, mida mudeli vastu käivitada; repositoorium sisaldab andmeid, nende skeemi, validaatorit ja päringutööriista.
- See ei ole Cue benchmark. Google DeepMindi juhtumiuuringus kirjeldatud privaatne 227 valimiga tootmis-benchmark ei ole selle osa.
Kus see on avaldatud
| Kus | Aadress | Roll |
|---|---|---|
| GitHub | Sophon-LLC/voice-agent-benchmark-landscape | Ametlik allikas: andmed, skeem, allikate audit, kaastöö reeglid, testid |
| Zenodo | doi.org/10.5281/zenodo.22227265 | Arhiveeritud väljalasked DOI-dega; kontseptsiooni DOI viitab alati uusimale versioonile. |
| Hugging Face | chatjesus/voice-agent-benchmark-landscape | Andmestiku peegel |
Versioonid
| Versioon | Kuupäev | Kirjed | Litsents | Versiooni DOI |
|---|---|---|---|---|
| v1.0.2 | 1. september 2026 | 13 | MIT | 10.5281/zenodo.22227266 |
Zenodo kirje versiooni v1.0.2 jaoks sisaldab andmestiku SHA-256 (1d36c7b3f73565147fb7afff076c611c5fddc331e3ec47dc867625b75b70bbf4), et allalaaditud koopiat saaks arhiveerituga võrrelda.
Kuidas viidata
Repositooriumi fail CITATION.cff nimetab autorina Sophon LLC. Kui on oluline täpne reprodutseeritavus, viita versiooni DOI-le, ja areneva projekti puhul kontseptsiooni DOI-le:
Sophon LLC. Voice Agent Benchmark Landscape, version 1.0.2. 1 September 2026. https://doi.org/10.5281/zenodo.22227266
Parandused
Parandusettepanekus tuleb nimetada rida, väli, pakutud väärtus ja esmase osapoole allikas, järgides repositooriumi faili CONTRIBUTING.md. Muudatused avaldatakse uue versioonina, millel on uus DOI.