Voice Agent Benchmark Landscape este un set de date pe care îl publicăm: o hartă structurată a benchmarkurilor publice pentru agenți vocali, asistenți vocali, utilizarea de unelte prin vorbire, acțiuni pe computer, recunoaștere vocală și înțelegerea ședințelor. Această pagină este înregistrarea sa de publicare.
Ce este
- 13 benchmarkuri, fiecare pe un rând, într-un fișier care poate fi citit automat (data/benchmarks.jsonl) cu un contract de câmpuri documentat (data/schema.json).
- Fiecare rând înregistrează obiectivul principal al benchmarkului; dacă acoperă intrarea vocală, ieșirea vocală, interacțiunea în mai multe ture, utilizarea de unelte, finalizarea obiectivelor, acțiuni pe computer sau în browser, materiale de ședință sau de formă lungă și operarea în timp real; dacă datele sunt publice; licențele pentru cod și date, înregistrate separat; adresele depozitului, ale fișei setului de date și ale lucrării; data ultimei verificări; și notele cu dovezi.
- Valorile sunt da, nu, parțial sau neclar. Parțial înseamnă că o capacitate apare într-o parte a suitei sau este evaluată indirect; nu descrie calitatea.
- Fiecare rând are cel puțin o sursă primară, listată în auditul surselor. Faptele din versiunea curentă au fost verificate la 1 septembrie 2026 din depozitele publice, fișele seturilor de date și lucrările dezvoltatorilor.
Ce nu este
- Nu este un clasament. Nu conține scoruri și nu clasifică nimic. Includerea nu implică o susținere. Motivul pentru care a fost construit astfel se află în Cum a fost construit Voice Agent Benchmark Landscape.
- Nu este un cadru de evaluare. Nu există nimic de rulat pe un model; depozitul livrează datele, schema lor, un validator și un instrument de interogare.
- Nu este benchmarkul lui Cue. Benchmarkul de producție privat cu 227 de eșantioane, descris în studiul de caz al Google DeepMind, nu face parte din el.
Unde este publicat
| Unde | Adresă | Rol |
|---|---|---|
| GitHub | Sophon-LLC/voice-agent-benchmark-landscape | Sursa de înregistrare: date, schemă, auditul surselor, reguli de contribuție, teste |
| Zenodo | doi.org/10.5281/zenodo.22227265 | Versiuni arhivate cu DOI-uri; DOI-ul conceptului duce întotdeauna la cea mai recentă versiune |
| Hugging Face | chatjesus/voice-agent-benchmark-landscape | Oglindă a setului de date |
Versiuni
| Versiune | Dată | Înregistrări | Licență | DOI versiune |
|---|---|---|---|---|
| v1.0.2 | 1 septembrie 2026 | 13 | MIT | 10.5281/zenodo.22227266 |
Înregistrarea Zenodo pentru v1.0.2 conține SHA-256 al setului de date (1d36c7b3f73565147fb7afff076c611c5fddc331e3ec47dc867625b75b70bbf4), astfel încât o copie descărcată poate fi verificată cu cea arhivată.
Cum să citați
Fișierul CITATION.cff al depozitului numește autorul ca fiind Sophon LLC. Citați DOI-ul versiunii atunci când reproductibilitatea exactă este importantă și DOI-ul conceptului pentru proiectul în evoluție:
Sophon LLC. Voice Agent Benchmark Landscape, version 1.0.2. 1 September 2026. https://doi.org/10.5281/zenodo.22227266
Corecturi
O corecție numește rândul, câmpul, valoarea propusă și o sursă primară, urmând fișierul CONTRIBUTING.md al depozitului. Modificările sunt livrate ca o nouă versiune cu un nou DOI.