Voice Agent Benchmark Landscape on julkaisemamme data-aineisto: jäsennelty kartta julkisista benchmarkeista puheagenteille, puheavusteisille työkaluille, puheohjatulle tietokoneen käytölle, puheentunnistukselle ja kokousten ymmärtämiselle. Tämä sivu sisältää sen julkaisutiedot.
Mitä se on
- 13 benchmarkia, kukin omalla rivillään, koneluettavassa tiedostossa (data/benchmarks.jsonl), jolla on dokumentoitu kenttärakenne (data/schema.json).
- Jokainen rivi kirjaa benchmarkin pääasiallisen painopisteen; kattaako se puhesyötteen, puhetulosteen, vuorovaikutteisen keskustelun, työkalujen käytön, tavoitteen saavuttamisen, tietokoneen tai selaimen käytön, kokous- tai pitkän aineiston ja reaaliaikaisen toiminnan; onko data julkista; koodin ja datan lisenssit erikseen kirjattuna; arkiston, data-aineiston kortin ja tutkimuspaperin osoitteet; viimeisimmän tarkistuspäivän; ja näyttöön liittyvät muistiinpanot.
- Arvot ovat kyllä, ei, osittain tai epäselvä. Osittain tarkoittaa, että ominaisuus esiintyy osassa kokonaisuutta tai sitä arvioidaan epäsuorasti; se ei kuvaa laatua.
- Jokaisella rivillä on vähintään yksi ensisijainen lähde, joka on lueteltu lähdetarkastuksessa. Nykyisen julkaisun tiedot on tarkistettu 1. syyskuuta 2026 ylläpitäjien julkisista arkistoista, data-aineistojen korteista ja tutkimuspapereista.
Mitä se ei ole
- Tämä ei ole tulostaulu. Se ei sisällä pistemääriä eikä aseta mitään paremmuusjärjestykseen. Mukanaolo ei merkitse suositusta. Miksi se rakennettiin näin, kerrotaan artikkelissa Miten puheagenttien benchmark-vertailu rakennettiin.
- Ei ole arviointikehys. Siinä ei ole mitään, mitä voisi ajaa mallia vasten; arkisto sisältää datan, sen skeeman, validaattorin ja kyselytyökalun.
- Ei ole Cuen benchmark. Google DeepMindin tapaustutkimuksessa kuvattu yksityinen 227 näytteen tuotantobenchmark ei ole osa sitä.
Missä se on julkaistu
| Mistä | Osoite | Rooli |
|---|---|---|
| GitHub | Sophon-LLC/voice-agent-benchmark-landscape | Virallinen lähde: data, skeema, lähdetarkastus, kontribuointisäännöt, testit |
| Zenodo | doi.org/10.5281/zenodo.22227265 | Arkistoidut julkaisut DOI-tunnuksilla; käsitteen DOI-tunnus ohjaa aina uusimpaan versioon. |
| Hugging Face | chatjesus/voice-agent-benchmark-landscape | Tietoaineiston peili |
Versiot
| Versio | Päivämäärä | Tietueet | Lisenssi | Version DOI-tunnus |
|---|---|---|---|---|
| v1.0.2 | 1. syyskuuta 2026 | 13 | MIT | 10.5281/zenodo.22227266 |
Version v1.0.2 Zenodo-tietue sisältää tietoaineiston SHA-256-tunnisteen (1d36c7b3f73565147fb7afff076c611c5fddc331e3ec47dc867625b75b70bbf4), jotta ladattu kopio voidaan tarkistaa arkistoitua vasten.
Viittausohjeet
Tietovaraston CITATION.cff-tiedosto nimeää tekijäksi Sophon LLC:n. Viittaa version DOI-tunnukseen, kun tarkka toistettavuus on tärkeää, ja käsitteen DOI-tunnukseen, kun viittaat kehittyvään projektiin:
Sophon LLC. Voice Agent Benchmark Landscape, version 1.0.2. 1 September 2026. https://doi.org/10.5281/zenodo.22227266
Oikaisut
Korjausehdotuksessa nimetään rivi, kenttä, ehdotettu arvo ja ensisijainen lähde tietovaraston CONTRIBUTING.md-tiedoston mukaisesti. Muutokset julkaistaan uutena versiona, jolla on uusi DOI-tunnus.