O Voice Agent Benchmark Landscape é un conxunto de datos que publicamos: un mapa estruturado de benchmarks públicos para axentes de voz, asistentes por voz, uso de ferramentas con voz, accións no ordenador, recoñecemento de voz e comprensión de reunións. Esta páxina é o seu rexistro de publicación.
Que é
- 13 benchmarks, un por liña, nun ficheiro lexible por máquina (data/benchmarks.jsonl) cun contrato de campos documentado (data/schema.json).
- Cada liña rexistra o foco principal do benchmark; se cobre entrada por voz, saída por voz, interacción en varias quendas, uso de ferramentas, finalización de obxectivos, accións no ordenador ou no navegador, material de reunións ou de formato longo e funcionamento en tempo real; se os datos son públicos; as licenzas do código e dos datos, rexistradas por separado; os enderezos do repositorio, da ficha do conxunto de datos e do artigo; a data da última verificación; e notas de proba.
- Os valores son si, non, parcial ou non claro. Parcial significa que a capacidade aparece nunha parte do conxunto ou se avalía indirectamente; non describe a calidade.
- Cada liña ten polo menos unha fonte de primeira man, que figura na auditoría de fontes. Os feitos da versión actual verificáronse o 1 de setembro de 2026 a partir dos repositorios públicos, fichas de conxuntos de datos e artigos dos mantedores.
O que non é
- Non é unha táboa de clasificación. Non contén puntuacións nin clasifica nada. A súa inclusión non implica unha recomendación. O motivo polo que se creou así explícase en Como se creou o Voice Agent Benchmark Landscape.
- Non é un marco de avaliación. Non hai nada que executar contra un modelo; o repositorio inclúe os datos, o seu esquema, un validador e unha ferramenta de consulta.
- Non é o benchmark de Cue. O benchmark de produción privado de 227 mostras descrito no estudo de caso de Google DeepMind non forma parte del.
Onde se publica
| Onde | Enderezo | Función |
|---|---|---|
| GitHub | Sophon-LLC/voice-agent-benchmark-landscape | Fonte de rexistro: datos, esquema, auditoría de fontes, regras de contribución, probas |
| Zenodo | doi.org/10.5281/zenodo.22227265 | Versións arquivadas con DOI; o DOI conceptual resolve sempre á última versión. |
| Hugging Face | chatjesus/voice-agent-benchmark-landscape | Espello do conxunto de datos. |
Versións
| Versión | Data | Rexistros | Licenza | DOI da versión |
|---|---|---|---|---|
| v1.0.2 | 1 de setembro de 2026 | 13 | MIT | 10.5281/zenodo.22227266 |
O rexistro de Zenodo para a v1.0.2 inclúe o SHA-256 do conxunto de datos (1d36c7b3f73565147fb7afff076c611c5fddc331e3ec47dc867625b75b70bbf4) para que unha copia descargada se poida comprobar coa arquivada.
Como citar
O ficheiro CITATION.cff do repositorio nomea a Sophon LLC como autor. Cite o DOI da versión cando a reproducibilidade exacta sexa importante e o DOI conceptual para o proxecto en evolución:
Sophon LLC. Voice Agent Benchmark Landscape, version 1.0.2. 1 September 2026. https://doi.org/10.5281/zenodo.22227266
Correccións
Unha corrección nomea a fila, o campo, o valor proposto e unha fonte de primeira man, seguindo o CONTRIBUTING.md do repositorio. Os cambios envíanse como unha nova versión cun novo DOI.