Voice Agent Benchmark Landscape je datová sada, kterou publikujeme: strukturovaná mapa veřejných benchmarků pro hlasové agenty, mluvené asistenty, používání nástrojů ovládaných řečí, akce v počítači, rozpoznávání řeči a porozumění schůzkám. Tato stránka je jejím záznamem o publikaci.
Co to je
- 13 benchmarků, každý na jednom řádku, ve strojově čitelném souboru (data/benchmarks.jsonl) s dokumentovanou strukturou polí (data/schema.json).
- Každý řádek zaznamenává primární zaměření benchmarku; zda pokrývá mluvený vstup, mluvený výstup, vícekrokovou interakci, použití nástrojů, dokončení cíle, akci v počítači nebo prohlížeči, materiál ze schůzky nebo dlouhého formátu a provoz v reálném čase; zda jsou data veřejná; licence kódu a dat, zaznamenané samostatně; adresy repozitáře, karty datové sady a článku; datum posledního ověření; a poznámky k důkazům.
- Hodnoty jsou ano, ne, částečně nebo nejasné. Částečně znamená, že se schopnost objevuje v části sady nebo je hodnocena nepřímo; nepopisuje to kvalitu.
- Každý řádek má alespoň jeden primární zdroj, uvedený v auditu zdrojů. Fakta v aktuálním vydání byla ověřena 1. září 2026 z veřejných repozitářů, karet datových sad a článků správců.
Co to není
- Není to žebříček. Neobsahuje žádná skóre a nic nehodnotí. Zahrnutí neznamená podporu. Proč byl vytvořen tímto způsobem, je popsáno v Jak vznikl Voice Agent Benchmark Landscape.
- Není to hodnoticí rámec. Není zde nic, co by se dalo spustit proti modelu; repozitář obsahuje data, jejich schéma, validátor a nástroj pro dotazování.
- Není to benchmark pro Cue. Soukromý produkční benchmark s 227 vzorky popsaný v případové studii Google DeepMind není jeho součástí.
Kde je publikován
| Kde | Adresa | Role |
|---|---|---|
| GitHub | Sophon-LLC/voice-agent-benchmark-landscape | Hlavní zdroj: data, schéma, audit zdrojů, pravidla pro přispívání, testy |
| Zenodo | doi.org/10.5281/zenodo.22227265 | Archivovaná vydání s DOI; koncepční DOI se vždy odkazuje na nejnovější verzi. |
| Hugging Face | chatjesus/voice-agent-benchmark-landscape | Zrcadlo datové sady. |
Verze
| Verze | Datum | Záznamy | Licence | DOI verze |
|---|---|---|---|---|
| v1.0.2 | 1. září 2026 | 13 | MIT | 10.5281/zenodo.22227266 |
Záznam na Zenodo pro verzi v1.0.2 obsahuje SHA-256 datové sady (1d36c7b3f73565147fb7afff076c611c5fddc331e3ec47dc867625b75b70bbf4), takže staženou kopii lze zkontrolovat oproti archivované.
Jak citovat
Soubor CITATION.cff v repozitáři uvádí jako autora Sophon LLC. Citujte DOI verze, pokud záleží na přesné reprodukovatelnosti, a koncepční DOI pro vyvíjející se projekt:
Sophon LLC. Voice Agent Benchmark Landscape, version 1.0.2. 1 September 2026. https://doi.org/10.5281/zenodo.22227266
Opravy
Oprava uvádí řádek, pole, navrhovanou hodnotu a zdroj první strany podle souboru CONTRIBUTING.md v repozitáři. Změny se vydávají jako nová verze s novým DOI.