Voice Agent Benchmark Landscape je súbor údajov, ktorý publikujeme: štruktúrovaná mapa verejných benchmarkov pre hlasových agentov, hovorených asistentov, používanie nástrojov s podporou reči, akcie v počítači, rozpoznávanie reči a porozumenie schôdzam. Táto stránka je jeho záznamom o publikovaní.
Čo to je
- 13 benchmarkov, každý v jednom riadku, v strojovo čitateľnom súbore (data/benchmarks.jsonl) s dokumentovanou štruktúrou polí (data/schema.json).
- Každý riadok zaznamenáva primárne zameranie benchmarku; či pokrýva hovorený vstup, hovorený výstup, viacťahovú interakciu, používanie nástrojov, dokončenie cieľa, akcie v počítači alebo prehliadači, schôdze alebo dlhý materiál a prevádzku v reálnom čase; či sú údaje verejné; licencie na kód a údaje, zaznamenané samostatne; adresy repozitára, karty súboru údajov a článku; dátum posledného overenia; a poznámky k dôkazom.
- Hodnoty sú áno, nie, čiastočne alebo nejasné. Čiastočne znamená, že schopnosť sa objavuje v časti súboru alebo je hodnotená nepriamo; neopisuje kvalitu.
- Každý riadok má aspoň jeden zdroj od pôvodného autora, uvedený v audite zdrojov. Fakty v aktuálnom vydaní boli overené 1. septembra 2026 z verejných repozitárov, kariet súborov údajov a článkov správcov.
Čo to nie je
- Nie je to rebríček. Neobsahuje žiadne skóre a nič nehodnotí. Zahrnutie neznamená podporu. Prečo bol vytvorený týmto spôsobom, je v článku Ako vznikol Voice Agent Benchmark Landscape.
- Nie je to hodnotiaci rámec. Neobsahuje nič, čo by sa dalo spustiť na modeli; repozitár obsahuje údaje, ich schému, validátor a nástroj na dopytovanie.
- Nie je to benchmark aplikácie Cue. Súkromný produkčný benchmark s 227 vzorkami opísaný v prípadovej štúdii Google DeepMind nie je jeho súčasťou.
Kde je publikovaný
| Kde | Adresa | Úloha |
|---|---|---|
| GitHub | Sophon-LLC/voice-agent-benchmark-landscape | Zdroj záznamu: údaje, schéma, audit zdrojov, pravidlá prispievania, testy |
| Zenodo | doi.org/10.5281/zenodo.22227265 | Archivované vydania s DOI; koncept DOI sa vždy presmeruje na najnovšiu verziu. |
| Hugging Face | chatjesus/voice-agent-benchmark-landscape | Zrkadlo dátovej sady. |
Verzie
| Verzia | Dátum | Záznamy | Licencia | DOI verzie |
|---|---|---|---|---|
| v1.0.2 | 1. septembra 2026 | 13 | MIT | 10.5281/zenodo.22227266 |
Záznam na Zenodo pre v1.0.2 obsahuje SHA-256 dátovej sady (1d36c7b3f73565147fb7afff076c611c5fddc331e3ec47dc867625b75b70bbf4), aby sa stiahnutá kópia dala overiť voči archivovanej.
Ako citovať
Súbor CITATION.cff v repozitári uvádza ako autora Sophon LLC. Citujte DOI verzie, ak záleží na presnej reprodukovateľnosti, a koncept DOI pre vyvíjajúci sa projekt:
Sophon LLC. Voice Agent Benchmark Landscape, version 1.0.2. 1 September 2026. https://doi.org/10.5281/zenodo.22227266
Opravy
Oprava uvádza riadok, pole, navrhovanú hodnotu a zdroj od prvej strany v súlade so súborom CONTRIBUTING.md v repozitári. Zmeny sa dodávajú ako nová verzia s novým DOI.