De Voice Agent Benchmark Landscape is een dataset die we publiceren: een gestructureerd overzicht van openbare benchmarks voor spraakagenten, gesproken assistenten, spraakgestuurd toolgebruik, computeracties, spraakherkenning en het begrijpen van vergaderingen. Deze pagina bevat de publicatiegegevens.
Wat het is
- 13 benchmarks, elk één rij, in een machineleesbaar bestand (data/benchmarks.jsonl) met een gedocumenteerd veldcontract (data/schema.json).
- Elke rij vermeldt de primaire focus van de benchmark; of die gesproken input, gesproken output, interactie over meerdere beurten, toolgebruik, doelvoltooiing, computer- of browseracties, vergaderingen of lang materiaal, en realtime werking omvat; of de data openbaar zijn; de licenties voor code en data, afzonderlijk vermeld; de adressen van de repository, de dataset-kaart en de paper; de datum van de laatste controle; en notities met bewijs.
- Waarden zijn ja, nee, deels of onduidelijk. Deels betekent dat de capaciteit in een deel van de suite voorkomt of indirect wordt geëvalueerd; het beschrijft niet de kwaliteit.
- Elke rij heeft minstens één primaire bron, die in de bronnenaudit staat. De feiten in de huidige release zijn op 1 september 2026 geverifieerd aan de hand van de openbare repositories, dataset-kaarten en papers van de beheerders.
Wat het niet is
- Geen scorebord. Het bevat geen scores en rangschikt niets. Opname impliceert geen goedkeuring. Waarom het zo is gebouwd, lees je in Hoe het benchmarklandschap voor spraakagenten is gebouwd.
- Geen evaluatiekader. Er is niets om tegen een model te draaien; de repository levert de data, het schema, een validator en een querytool.
- Niet de benchmark van Cue. De private productiebenchmark met 227 samples die in de casestudy van Google DeepMind wordt beschreven, maakt er geen deel van uit.
Waar het wordt gepubliceerd
| Waar | Adres | Rol |
|---|---|---|
| GitHub | Sophon-LLC/voice-agent-benchmark-landscape | Primaire bron: data, schema, bronnenaudit, bijdrageregels, tests |
| Zenodo | doi.org/10.5281/zenodo.22227265 | Gearchiveerde releases met DOI's; de concept-DOI verwijst altijd naar de nieuwste versie |
| Hugging Face | chatjesus/voice-agent-benchmark-landscape | Spiegel van de dataset |
Versies
| Versie | Datum | Records | Licentie | Versie-DOI |
|---|---|---|---|---|
| v1.0.2 | 1 september 2026 | 13 | MIT | 10.5281/zenodo.22227266 |
De Zenodo-vermelding voor v1.0.2 bevat de SHA-256 van de dataset (1d36c7b3f73565147fb7afff076c611c5fddc331e3ec47dc867625b75b70bbf4), zodat een gedownloade kopie kan worden vergeleken met de gearchiveerde versie.
Hoe te citeren
Het CITATION.cff-bestand van de repository noemt Sophon LLC als auteur. Citeer de versie-DOI als exacte reproduceerbaarheid belangrijk is en de concept-DOI voor het doorlopende project:
Sophon LLC. Voice Agent Benchmark Landscape, version 1.0.2. 1 September 2026. https://doi.org/10.5281/zenodo.22227266
Correcties
Een correctie vermeldt de rij, het veld, de voorgestelde waarde en een bron van de ontwikkelaar zelf, volgens het CONTRIBUTING.md-bestand van de repository. Wijzigingen worden uitgebracht als een nieuwe versie met een nieuwe DOI.