Voice Agent Benchmark Landscape er et datasett vi publiserer: et strukturert kart over offentlige benchmarks for stemmeagenter, stemmestyrte assistenter, stemmeaktivert verktøybruk, datamaskinstyring, talegjenkjenning og møteforståelse. Denne siden er datasettets publiseringshistorikk.
Hva det er
- 13 benchmarks, én rad for hver, i en maskinlesbar fil (data/benchmarks.jsonl) med en dokumentert feltkontrakt (data/schema.json).
- Hver rad registrerer benchmarkens primære fokus; om den dekker stemmeinput, stemmeoutput, flertursinteraksjon, verktøybruk, måloppnåelse, datamaskin- eller nettleserhandling, møte- eller langformatmateriale og sanntidsdrift; om dataene er offentlige; koden og datalisensene, registrert separat; adressene til repositoriet, datasettkortet og artikkelen; datoen for siste verifisering; og notater om belegg.
- Verdiene er ja, nei, delvis eller uklart. Delvis betyr at evnen finnes i en del av suiten eller evalueres indirekte; det beskriver ikke kvalitet.
- Hver rad har minst én førstepartskilde, oppført i kildegjennomgangen. Fakta i den nåværende utgivelsen ble verifisert 1. september 2026 fra vedlikeholdernes offentlige repositorier, datasettkort og artikler.
Hva det ikke er
- Ikke en resultatliste. Den inneholder ingen poengsummer og rangerer ingenting. Inkludering innebærer ikke en anbefaling. Hvorfor den ble bygget slik, står i Slik ble oversikten over stemmeagent-benchmarks bygget.
- Ikke et evalueringsrammeverk. Det er ingenting å kjøre mot en modell; repositoriet leverer dataene, skjemaet, en validator og et spørreverktøy.
- Ikke Cues benchmark. Den private produksjonsbenchmarken med 227 eksempler, beskrevet i Google DeepMinds casestudie, er ikke en del av det.
Hvor det er publisert
| Hvor | Adresse | Rolle |
|---|---|---|
| GitHub | Sophon-LLC/voice-agent-benchmark-landscape | Kilde for historikk: data, skjema, kildegjennomgang, bidragsregler, tester |
| Zenodo | doi.org/10.5281/zenodo.22227265 | Arkiverte utgivelser med DOI-er; konsept-DOI-en peker alltid til den nyeste versjonen. |
| Hugging Face | chatjesus/voice-agent-benchmark-landscape | Speil av datasettet. |
Versjoner
| Versjon | Dato | Oppføringer | Lisens | Versjons-DOI |
|---|---|---|---|---|
| v1.0.2 | 1. september 2026 | 13 | MIT | 10.5281/zenodo.22227266 |
Zenodo-oppføringen for v1.0.2 inneholder datasettets SHA-256 (1d36c7b3f73565147fb7afff076c611c5fddc331e3ec47dc867625b75b70bbf4), slik at en nedlastet kopi kan sjekkes mot den arkiverte.
Slik siterer du
Repositoryets CITATION.cff-fil oppgir Sophon LLC som forfatter. Siter versjons-DOI-en når nøyaktig reproduserbarhet er viktig, og konsept-DOI-en for det løpende prosjektet:
Sophon LLC. Voice Agent Benchmark Landscape, version 1.0.2. 1 September 2026. https://doi.org/10.5281/zenodo.22227266
Rettelser
En rettelse må oppgi rad, felt, foreslått verdi og en førstepartskilde, i henhold til repositoryets CONTRIBUTING.md. Endringer utgis som en ny versjon med en ny DOI.