O Panorama de Benchmarks de Agentes de Voz é um conjunto de dados que publicamos: um mapa estruturado de benchmarks públicos para agentes de voz, assistentes falados, uso de ferramentas por fala, ação em computador, reconhecimento de fala e compreensão de reuniões. Esta página é seu registro de publicação.
O que é
- 13 benchmarks, uma linha cada, em um arquivo legível por máquina (data/benchmarks.jsonl) com um contrato de campo documentado (data/schema.json).
- Cada linha registra o foco principal do benchmark; se ele cobre entrada de voz, saída de voz, interação de múltiplos turnos, uso de ferramentas, conclusão de objetivos, ação em computador ou navegador, material de reunião ou de formato longo e operação em tempo real; se os dados são públicos; as licenças de código e de dados, registradas separadamente; os endereços do repositório, da ficha do conjunto de dados e do artigo; a data da última verificação; e notas de evidência.
- Os valores são sim, não, parcial ou incerto. Parcial significa que a capacidade aparece em parte do conjunto ou é avaliada indiretamente; não descreve a qualidade.
- Toda linha tem pelo menos uma fonte primária, listada na auditoria de fontes. Os fatos na versão atual foram verificados em 1 de setembro de 2026 a partir dos repositórios públicos, fichas de conjuntos de dados e artigos dos mantenedores.
O que não é
- Não é uma tabela de classificação. Não contém pontuações e não classifica nada. A inclusão não implica endosso. O motivo de ter sido construído dessa forma está em Como o panorama de benchmarks de agentes de voz foi construído.
- Não é um framework de avaliação. Não há nada para executar em um modelo; o repositório entrega os dados, seu esquema, um validador e uma ferramenta de consulta.
- Não é o benchmark do Cue. O benchmark de produção privado de 227 amostras descrito no estudo de caso do Google DeepMind não faz parte dele.
Onde é publicado
| Onde | Endereço | Função |
|---|---|---|
| GitHub | Sophon-LLC/voice-agent-benchmark-landscape | Fonte de registro: dados, esquema, auditoria de fontes, regras de contribuição, testes |
| Zenodo | doi.org/10.5281/zenodo.22227265 | Lançamentos arquivados com DOIs; o DOI de conceito sempre resolve para a versão mais recente |
| Hugging Face | chatjesus/voice-agent-benchmark-landscape | Espelho do conjunto de dados |
Versões
| Versão | Data | Registros | Licença | DOI da versão |
|---|---|---|---|---|
| v1.0.2 | 1 de setembro de 2026 | 13 | MIT | 10.5281/zenodo.22227266 |
O registro do Zenodo para v1.0.2 contém o SHA-256 do conjunto de dados (1d36c7b3f73565147fb7afff076c611c5fddc331e3ec47dc867625b75b70bbf4) para que uma cópia baixada possa ser verificada em relação à arquivada.
Como citar
O arquivo CITATION.cff do repositório nomeia o autor como Sophon LLC. Cite o DOI da versão quando a reprodutibilidade exata for importante e o DOI de conceito para o projeto em evolução:
Sophon LLC. Voice Agent Benchmark Landscape, version 1.0.2. 1 September 2026. https://doi.org/10.5281/zenodo.22227266
Correções
Uma correção nomeia a linha, o campo, o valor proposto e uma fonte primária, seguindo o CONTRIBUTING.md do repositório. As alterações são lançadas como uma nova versão com um novo DOI.