“Voice agent evaluation” abrange vários problemas diferentes que são fáceis de confundir. Um benchmark pode testar o reconhecimento de fala sem testar a conclusão de tarefas, ou testar chamadas de ferramentas sem uma interação falada ao vivo. O Voice Agent Benchmark Landscape existe para tornar esses limites explícitos. Este post é sobre como ele foi construído.
Uma linha por benchmark, uma pergunta por campo
O conjunto de dados tem 13 linhas na versão de 1 de setembro de 2026. Para cada benchmark, ele registra o foco principal e, como campos separados, se o benchmark cobre entrada de voz, saída de voz, interação de múltiplos turnos, uso de ferramentas, conclusão de objetivos, ação no computador ou navegador, material de reuniões ou de formato longo e operação em tempo real. Ele também registra se os dados são públicos, a licença do código e a licença dos dados separadamente, os endereços do repositório, da ficha do conjunto de dados e do artigo, a data da última verificação e as notas de evidência.
Cada valor de capacidade é uma de quatro palavras: yes, no, partial ou unclear. “Partial” significa que a capacidade aparece em parte de um pacote ou é avaliada indiretamente; isso não diz nada sobre a qualidade. “No” significa que a capacidade está fora do escopo publicado ou ausente dos materiais públicos, não que o projeto nunca possa suportá-la. “Unclear” é usado quando o material público foi insuficiente para classificar, e permanece assim até que uma fonte primária resolva a questão.
As fontes são primárias, e as licenças são registradas duas vezes
Cada linha cita o repositório, a ficha do conjunto de dados ou o artigo dos próprios mantenedores; nada é classificado a partir de uma descrição secundária. A auditoria de fontes no repositório lista, por linha, as páginas que fundamentaram os valores de capacidade e as páginas que declaram as licenças. As licenças de código e de dados são registradas separadamente porque diferem com mais frequência do que se imagina: o código e os dados de uma entrada estão sob uma licença comunitária que não é uma licença de código aberto e restringe o uso comercial; o código de outra é Apache-2.0, enquanto seus dados são CC BY-NC 4.0 e restritos. Um leitor que decide se deve reutilizar um benchmark precisa de ambos os fatos.
Por que não há pontuações
Uma tabela de classificação precisa de uma tarefa compartilhada e uma métrica compartilhada. Os treze projetos foram concebidos para treze questões de avaliação diferentes, então um ranking único compararia coisas que não foram feitas para serem comparadas. O panorama, portanto, registra o que cada benchmark mede e nada sobre como qualquer sistema se sai nele. A inclusão não implica endosso, e o conjunto de dados não contém o benchmark de produção privado de 227 amostras do Cue, descrito no estudo de caso da Google DeepMind.
O que o mapa mostra que está faltando
Disposto desta forma, o panorama público é mais forte em atendimento ao cliente conversacional, seleção de ferramentas por voz, avaliação de conteúdo de agente de voz e reconhecimento de fala. É escasso na interseção de digitação contínua por voz em aplicativos arbitrários, transcrição de reuniões longas com notas estruturadas, ação no computador entre aplicativos, confirmação e reversibilidade de efeitos colaterais, e qualquer avaliação única que conecte a qualidade da transcrição aos resultados do usuário. O repositório afirma isso como uma lacuna no que existe, não como um defeito em qualquer projeto.
Mantendo a honestidade
- O arquivo de dados tem um esquema documentado e um validador; uma linha que quebra o contrato de campo falha na verificação.
- Cada link de fonte é verificado novamente de forma programada. Um 404 ou 410 definitivo falha na auditoria; limites de taxa e erros transitórios são relatados separadamente para que não sejam rotulados incorretamente como links quebrados.
- As versões são arquivadas no Zenodo com um DOI por versão, e o registro carrega o SHA-256 do conjunto de dados, de modo que uma citação aponta para um arquivo exato.
- As correções nomeiam a linha, o campo, o valor proposto e uma fonte primária, e são lançadas como uma nova versão.
O repositório está em github.com/Sophon-LLC/voice-agent-benchmark-landscape; o formato de citação e a lista de versões estão na página de registro.