A Voice Agent Benchmark Landscape egy általunk közzétett adatkészlet: a hangalapú ágensek, a beszéddel vezérelt asszisztensek, a beszédfelismerést használó eszközhasználat, a számítógépes műveletek, a beszédfelismerés és a megbeszélések megértésének nyilvános benchmarkjainak strukturált térképe. Ez az oldal a közzétételének nyilvántartása.
Mi ez
- 13 benchmark, mindegyik egy sorban, egy géppel olvasható fájlban (data/benchmarks.jsonl), dokumentált mezőleírással (data/schema.json).
- Minden sor rögzíti a benchmark elsődleges fókuszát; hogy kiterjed-e a beszélt bemenetre, a beszélt kimenetre, a többfordulós interakcióra, az eszközhasználatra, a célok teljesítésére, a számítógépes vagy böngészőműveletekre, a megbeszélésekre vagy a hosszú formátumú anyagokra és a valós idejű működésre; hogy az adatok nyilvánosak-e; a kód- és adatlicenceket, külön rögzítve; a repository, az adatkészlet-kártya és a tanulmány címét; az utolsó ellenőrzés dátumát; és a bizonyítékokat tartalmazó megjegyzéseket.
- Az értékek: igen, nem, részleges vagy nem egyértelmű. A részleges azt jelenti, hogy a képesség a csomag egy részében jelenik meg, vagy közvetve kerül értékelésre; ez nem a minőséget írja le.
- Minden sorhoz tartozik legalább egy elsődleges forrás, amely a forrásauditban szerepel. A jelenlegi kiadásban szereplő tényeket 2026. szeptember 1-jén ellenőriztük a karbantartók nyilvános repositoryjai, adatkészlet-kártyái és tanulmányai alapján.
Mit nem tartalmaz
- Nem ranglista. Nem tartalmaz pontszámokat és nem rangsorol semmit. A szerepeltetés nem jelent támogatást. Hogy miért így készült, az a Hogyan készült a hangalapú ágensek benchmarkjainak térképe című írásban olvasható.
- Nem értékelési keretrendszer. Nincs semmi, amit egy modellen futtatni lehetne; a repository az adatokat, a sémát, egy validátort és egy lekérdezőeszközt tartalmaz.
- Nem a Cue benchmarkja. A Google DeepMind esettanulmányában leírt, 227 mintából álló, privát, éles környezetben használt benchmark nem része ennek.
Hol tesszük közzé
| Hol | Cím | Szerep |
|---|---|---|
| GitHub | Sophon-LLC/voice-agent-benchmark-landscape | Hiteles forrás: adatok, séma, forrásaudit, közreműködési szabályok, tesztek |
| Zenodo | doi.org/10.5281/zenodo.22227265 | Archivált kiadások DOI-azonosítókkal. A koncepció-DOI mindig a legújabb verzióra mutat. |
| Hugging Face | chatjesus/voice-agent-benchmark-landscape | Az adatkészlet egy tükörpéldánya. |
Verziók
| Verzió | Dátum | Rekordok | Licenc | Verzió-DOI |
|---|---|---|---|---|
| v1.0.2 | 2026. szeptember 1. | 13 | MIT | 10.5281/zenodo.22227266 |
A v1.0.2 verzió Zenodo-rekordja tartalmazza az adatkészlet SHA-256-kódját (1d36c7b3f73565147fb7afff076c611c5fddc331e3ec47dc867625b75b70bbf4), így a letöltött példány ellenőrizhető az archiválthoz képest.
Hivatkozás
A repository CITATION.cff fájlja a Sophon LLC-t nevezi meg szerzőként. A pontos reprodukálhatóság érdekében a verzió-DOI-ra, a folyamatosan fejlődő projekthez pedig a koncepció-DOI-ra hivatkozzon:
Sophon LLC. Voice Agent Benchmark Landscape, version 1.0.2. 1 September 2026. https://doi.org/10.5281/zenodo.22227266
Helyesbítések
A javításnak tartalmaznia kell a sort, a mezőt, a javasolt értéket és egy elsődleges forrást a repository CONTRIBUTING.md fájljának megfelelően. A változtatások új verzióként, új DOI-azonosítóval jelennek meg.