El Voice Agent Benchmark Landscape es un conjunto de datos que publicamos: un mapa estructurado de benchmarks públicos para agentes de voz, asistentes por voz, uso de herramientas con voz, acción en el ordenador, reconocimiento de voz y comprensión de reuniones. Esta página es su registro de publicación.
Qué es
- 13 benchmarks, una fila por cada uno, en un archivo legible por máquina (data/benchmarks.jsonl) con un contrato de campos documentado (data/schema.json).
- Cada fila registra el enfoque principal del benchmark; si cubre entrada por voz, salida por voz, interacción de varios turnos, uso de herramientas, finalización de objetivos, acción en el ordenador o navegador, material de reuniones o de formato largo y funcionamiento en tiempo real; si los datos son públicos; las licencias de código y datos, registradas por separado; las direcciones del repositorio, la dataset card y el artículo; la fecha de última verificación; y notas de prueba.
- Los valores son sí, no, parcial o no está claro. Parcial significa que la capacidad aparece en parte del conjunto o se evalúa indirectamente; no describe la calidad.
- Cada fila tiene al menos una fuente de origen, enumerada en la auditoría de fuentes. Los datos de la versión actual se verificaron el 1 de septiembre de 2026 a partir de los repositorios públicos, las dataset cards y los artículos de los mantenedores.
Qué no es
- No es una tabla de clasificación. No contiene puntuaciones ni clasifica nada. Su inclusión no implica un respaldo. El motivo por el que se creó de esa manera está en Cómo se creó el Voice Agent Benchmark Landscape.
- No es un marco de evaluación. No hay nada que ejecutar contra un modelo; el repositorio entrega los datos, su esquema, un validador y una herramienta de consulta.
- No es el benchmark de Cue. El benchmark de producción privado de 227 muestras descrito en el caso de estudio de Google DeepMind no forma parte de él.
Dónde se publica
| Dónde | Dirección | Función |
|---|---|---|
| GitHub | Sophon-LLC/voice-agent-benchmark-landscape | Fuente de registro: datos, esquema, auditoría de fuentes, reglas de contribución, pruebas |
| Zenodo | doi.org/10.5281/zenodo.22227265 | Versiones archivadas con DOI; el DOI conceptual siempre resuelve a la última versión. |
| Hugging Face | chatjesus/voice-agent-benchmark-landscape | Copia del conjunto de datos. |
Versiones
| Versión | Fecha | Registros | Licencia | DOI de la versión |
|---|---|---|---|---|
| v1.0.2 | 1 de septiembre de 2026 | 13 | MIT | 10.5281/zenodo.22227266 |
El registro de Zenodo para v1.0.2 contiene el SHA-256 del conjunto de datos (1d36c7b3f73565147fb7afff076c611c5fddc331e3ec47dc867625b75b70bbf4) para que una copia descargada pueda comprobarse con la archivada.
Cómo citar
El archivo CITATION.cff del repositorio nombra al autor como Sophon LLC. Cite el DOI de la versión cuando la reproducibilidad exacta sea importante y el DOI conceptual para el proyecto en evolución:
Sophon LLC. Voice Agent Benchmark Landscape, version 1.0.2. 1 September 2026. https://doi.org/10.5281/zenodo.22227266
Correcciones
Una corrección nombra la fila, el campo, el valor propuesto y una fuente original, siguiendo el archivo CONTRIBUTING.md del repositorio. Los cambios se publican como una nueva versión con un nuevo DOI.