Voice Agent Benchmark Landscape är en datauppsättning som vi publicerar: en strukturerad karta över offentliga benchmarks för röstagenter, röstassistenter, röstaktiverad verktygsanvändning, datoråtgärder, taligenkänning och mötesförståelse. Denna sida är dess publikationsregister.
Vad det är
- 13 benchmarks, en rad vardera, i en maskinläsbar fil (data/benchmarks.jsonl) med ett dokumenterat fältkontrakt (data/schema.json).
- Varje rad registrerar benchmarkens primära fokus; om den täcker talad input, talad output, interaktion i flera omgångar, verktygsanvändning, måluppfyllelse, dator- eller webbläsaråtgärd, mötes- eller långformat material och realtidsdrift; om datan är offentlig; kod- och datalicenser, registrerade separat; adresserna till repot, datauppsättningens sida och rapporten; datumet då den senast verifierades; och anteckningar om belägg.
- Värden är ja, nej, delvis eller oklart. Delvis betyder att förmågan förekommer i en del av sviten eller utvärderas indirekt; det beskriver inte kvalitet.
- Varje rad har minst en förstahandskälla, listad i källgranskningen. Fakta i den nuvarande versionen verifierades den 1 september 2026 från underhållarnas offentliga repos, sidor för datauppsättningar och rapporter.
Vad det inte är
- Detta är ingen topplista. Den innehåller inga poäng och rangordnar ingenting. Inkludering innebär inget stöd. Varför den byggdes så förklaras i Hur landskapet för benchmarks av röstagenter byggdes.
- Inte ett utvärderingsramverk. Det finns inget att köra mot en modell; repot levererar datan, dess schema, en validerare och ett frågeverktyg.
- Inte Cues benchmark. Den privata produktionsbenchmarken med 227 sampel som beskrivs i Google DeepMinds fallstudie är inte en del av den.
Var det publiceras
| Var | Adress | Roll |
|---|---|---|
| GitHub | Sophon-LLC/voice-agent-benchmark-landscape | Källa för registret: data, schema, källgranskning, bidragsregler, tester |
| Zenodo | doi.org/10.5281/zenodo.22227265 | Arkiverade utgåvor med DOI:er; koncept-DOI:n pekar alltid på den senaste versionen. |
| Hugging Face | chatjesus/voice-agent-benchmark-landscape | Spegel av datasetet. |
Versioner
| Version | Datum | Poster | Licens | Versions-DOI |
|---|---|---|---|---|
| v1.0.2 | 1 september 2026 | 13 | MIT | 10.5281/zenodo.22227266 |
Zenodo-posten för v1.0.2 innehåller datasetets SHA-256 (1d36c7b3f73565147fb7afff076c611c5fddc331e3ec47dc867625b75b70bbf4) så att en nedladdad kopia kan kontrolleras mot den arkiverade.
Hur du citerar
Repositoriets CITATION.cff anger Sophon LLC som författare. Ange versions-DOI:n när exakt reproducerbarhet är viktig och koncept-DOI:n för det fortlöpande projektet:
Sophon LLC. Voice Agent Benchmark Landscape, version 1.0.2. 1 September 2026. https://doi.org/10.5281/zenodo.22227266
Rättelser
En rättelse anger raden, fältet, det föreslagna värdet och en förstahandskälla, enligt repositoriets CONTRIBUTING.md. Ändringar skeppas som en ny version med en ny DOI.