Voice Agent Benchmark Landscape er et datasæt, vi udgiver: et struktureret kort over offentlige benchmarks for stemmeagenter, talestyrede assistenter, talestyret brug af værktøjer, computerhandlinger, talegenkendelse og forståelse af møder. Denne side er dets udgivelsesoptegnelse.
Hvad det er
- 13 benchmarks, én række hver, i en maskinlæsbar fil (data/benchmarks.jsonl) med en dokumenteret feltkontrakt (data/schema.json).
- Hver række registrerer benchmarkets primære fokus; om det dækker talestyret input, talestyret output, interaktion i flere omgange, brug af værktøjer, målopfyldelse, computer- eller browserhandlinger, møde- eller langt materiale og realtidsdrift; om dataene er offentlige; koden og datalicenserne, registreret separat; adresser til repository, datasætkort og artikel; datoen for seneste verificering; og noter med belæg.
- Værdier er yes, no, partial eller unclear. Partial betyder, at evnen optræder i en del af suiten eller evalueres indirekte; det beskriver ikke kvalitet.
- Hver række har mindst én førstepartskilde, som er angivet i kildegennemgangen. Fakta i den nuværende udgivelse blev verificeret den 1. september 2026 fra vedligeholdernes offentlige repositories, datasætkort og artikler.
Hvad det ikke er
- Ikke en rangliste. Den indeholder ingen scorer og rangerer intet. Inkludering indebærer ikke en anbefaling. Hvorfor den blev bygget på den måde, er beskrevet i Hvordan landskabet for stemmeagent-benchmarks blev bygget.
- Ikke en evalueringsramme. Der er intet at køre mod en model; repositoryet leverer dataene, dets skema, en validator og et forespørgselsværktøj.
- Ikke Cues benchmark. Det private produktionsbenchmark med 227 prøver, der er beskrevet i Google DeepMinds casestudie, er ikke en del af det.
Hvor det er udgivet
| Hvor | Adresse | Rolle |
|---|---|---|
| GitHub | Sophon-LLC/voice-agent-benchmark-landscape | Kilde til optegnelse: data, skema, kildegennemgang, bidragsregler, tests |
| Zenodo | doi.org/10.5281/zenodo.22227265 | Arkiverede udgivelser med DOI'er; koncept-DOI'en peger altid på den seneste version. |
| Hugging Face | chatjesus/voice-agent-benchmark-landscape | Spejl af datasættet. |
Versioner
| Version | Dato | Poster | Licens | Versions-DOI |
|---|---|---|---|---|
| v1.0.2 | 1. september 2026 | 13 | MIT | 10.5281/zenodo.22227266 |
Zenodo-posten for v1.0.2 indeholder datasættets SHA-256 (1d36c7b3f73565147fb7afff076c611c5fddc331e3ec47dc867625b75b70bbf4), så en downloadet kopi kan kontrolleres mod den arkiverede.
Sådan citerer du
Repositoriets CITATION.cff angiver Sophon LLC som forfatter. Citér versions-DOI'en, når præcis reproducerbarhed er vigtig, og koncept-DOI'en for det løbende projekt:
Sophon LLC. Voice Agent Benchmark Landscape, version 1.0.2. 1. september 2026. https://doi.org/10.5281/zenodo.22227266
Rettelser
En rettelse angiver rækken, feltet, den foreslåede værdi og en førstepartskilde i overensstemmelse med repositoriets CONTRIBUTING.md. Ændringer udgives som en ny version med en ny DOI.