«Voice agent evaluation» abarca varios problemas distintos que es fácil confundir. Un benchmark puede probar el reconocimiento de voz sin probar la finalización de tareas, o las llamadas a herramientas sin una interacción oral en directo. El Voice Agent Benchmark Landscape existe para hacer explícitos esos límites. Esta entrada trata sobre cómo se creó.
Una fila por benchmark, una pregunta por campo
El conjunto de datos tiene 13 filas en la versión del 1 de septiembre de 2026. Para cada benchmark, registra el enfoque principal y, en campos separados, si el benchmark cubre la entrada de voz, la salida de voz, la interacción multiturno, el uso de herramientas, la finalización de objetivos, la acción en el ordenador o navegador, el material de reuniones o de formato largo y el funcionamiento en tiempo real. También registra si los datos son públicos, la licencia del código y la licencia de los datos por separado, las direcciones del repositorio, la tarjeta del conjunto de datos y el artículo, la fecha de la última verificación y las notas de prueba.
Cada valor de capacidad es una de cuatro palabras: yes, no, partial o unclear. «Partial» significa que la capacidad aparece en parte de una suite o se evalúa indirectamente; no dice nada sobre la calidad. «No» significa que la capacidad está fuera del ámbito publicado o ausente de los materiales públicos, no que el proyecto no pueda admitirla nunca. «Unclear» se usa cuando el material público fue insuficiente para clasificar, y se mantiene hasta que una fuente oficial lo aclare.
Las fuentes son directas y las licencias se registran dos veces
Cada fila cita el repositorio, la dataset card o la publicación de los propios mantenedores; nada se clasifica a partir de una reseña secundaria. La auditoría de fuentes en el repositorio enumera, por fila, las páginas que respaldaron los valores de capacidad y las páginas que indican las licencias. Las licencias del código y de los datos se registran por separado porque difieren más a menudo de lo que se cree: el código y los datos de una entrada están bajo una licencia comunitaria que no es de código abierto y restringe el uso comercial; el código de otra es Apache-2.0 mientras que sus datos son CC BY-NC 4.0 y de acceso restringido. Un lector que decida si reutilizar un benchmark necesita ambos datos.
Por qué no hay puntuaciones
Un marcador necesita una tarea compartida y una métrica compartida. Los trece proyectos se diseñaron para trece preguntas de evaluación diferentes, por lo que una única clasificación compararía cosas que no fueron creadas para ser comparadas. Por lo tanto, el panorama registra lo que mide cada benchmark y nada sobre el rendimiento de ningún sistema en él. La inclusión no implica un respaldo, y el conjunto de datos no contiene el benchmark de producción privado de 227 muestras de Cue descrito en el caso de estudio de Google DeepMind.
Lo que el mapa muestra que falta
Presentado de esta manera, el panorama público es más sólido en el servicio al cliente conversacional, la selección de herramientas por voz, la evaluación de contenido de agentes de voz y el reconocimiento del habla. Es escaso en la intersección del dictado de voz continuo en el escritorio en aplicaciones arbitrarias, la transcripción de reuniones de formato largo con notas estructuradas, la acción en el ordenador entre aplicaciones, la confirmación y reversibilidad de los efectos secundarios, y cualquier evaluación única que conecte la calidad de la transcripción con los resultados del usuario. El repositorio afirma que esto es una carencia en lo que existe, no un defecto en ningún proyecto.
Cómo se mantiene la honestidad
- El archivo de datos tiene un esquema documentado y un validador; una fila que incumpla el contrato de campo no pasa la comprobación.
- Cada enlace de fuente se vuelve a comprobar de forma programada. Un 404 o 410 definitivo no pasa la auditoría; los límites de frecuencia y los errores transitorios se informan por separado para que no se etiqueten erróneamente como enlaces rotos.
- Las versiones se archivan en Zenodo con un DOI por versión, y el registro lleva el SHA-256 del conjunto de datos, por lo que una cita apunta a un archivo exacto.
- Las correcciones nombran la fila, el campo, el valor propuesto y una fuente directa, y se publican como una nueva versión.
El repositorio está en github.com/Sophon-LLC/voice-agent-benchmark-landscape; el formato de cita y la lista de versiones están en la página de registro.