“Voice agent evaluation”은 혼동하기 쉬운 몇 가지 다른 문제를 다룹니다. 벤치마크는 작업 완료를 테스트하지 않고 음성 인식을 테스트하거나, 실시간 음성 상호작용 없이 도구 호출을 테스트할 수 있습니다. Voice Agent Benchmark Landscape는 이러한 경계를 명확히 하기 위해 존재합니다. 이 게시물은 그것이 어떻게 만들어졌는지에 관한 것입니다.
벤치마크당 한 행, 필드당 한 질문
2026년 9월 1일 릴리스의 데이터셋에는 13개의 행이 있습니다. 각 벤치마크에 대해 주요 초점을 기록하고, 별도의 필드에 해당 벤치마크가 음성 입력, 음성 출력, 다중 턴 상호작용, 도구 사용, 목표 달성, 컴퓨터 또는 브라우저 작업, 회의 또는 장문 자료, 실시간 작동을 다루는지 여부를 기록합니다. 또한 데이터 공개 여부, 코드 라이선스와 데이터 라이선스를 별도로, 리포지토리, 데이터셋 카드 및 논문 주소, 마지막 검증 날짜, 증거 노트를 기록합니다.
모든 기능 값은 yes, no, partial, unclear 네 단어 중 하나입니다. “Partial”은 해당 기능이 제품군 일부에 나타나거나 간접적으로 평가됨을 의미하며, 품질에 대해서는 아무것도 말하지 않습니다. “No”는 해당 기능이 공개된 범위 밖에 있거나 공개된 자료에 없음을 의미하며, 해당 프로젝트가 결코 지원할 수 없다는 뜻은 아닙니다. “Unclear”는 공개된 자료가 분류하기에 불충분할 때 사용되며, 1차 출처에서 확정될 때까지 유지됩니다.
출처는 1차 출처이며, 라이선스는 두 번 기록됩니다
각 행은 유지보수자의 자체 리포지토리, 데이터셋 카드 또는 논문을 인용하며, 2차 저작물로부터 분류된 것은 없습니다. 리포지토리의 출처 감사는 행별로 기능 값을 뒷받침한 페이지와 라이선스를 명시한 페이지를 나열합니다. 코드와 데이터 라이선스가 사람들이 가정하는 것보다 더 자주 다르기 때문에 별도로 기록됩니다. 한 항목의 코드와 데이터는 오픈소스 라이선스가 아니며 상업적 사용을 제한하는 커뮤니티 라이선스 하에 있고, 다른 항목의 코드는 Apache-2.0인 반면 데이터는 CC BY-NC 4.0이며 게이트 방식입니다. 벤치마크 재사용 여부를 결정하는 독자에게는 두 가지 사실이 모두 필요합니다.
점수가 없는 이유
리더보드는 공유된 과제와 공유된 메트릭을 필요로 합니다. 13개의 프로젝트는 13개의 다른 평가 질문을 위해 설계되었으므로, 단일 순위는 비교되도록 만들어지지 않은 것들을 비교하게 될 것입니다. 따라서 지형도는 각 벤치마크가 무엇을 측정하는지만 기록하고, 어떤 시스템이 그 위에서 어떻게 수행하는지에 대해서는 아무것도 기록하지 않습니다. 포함이 보증을 의미하지는 않으며, 데이터셋에는 Google DeepMind의 사례 연구에 기술된 Cue의 비공개 227-샘플 프로덕션 벤치마크가 포함되어 있지 않습니다.
지도가 보여주는 누락된 부분
이런 식으로 배치했을 때, 공개된 지형도는 대화형 고객 서비스, 음성 도구 선택, 음성 어시스턴트 콘텐츠 평가, 음성 인식에서 가장 강합니다. 임의의 애플리케이션에서의 연속적인 데스크톱 음성 타이핑, 구조화된 노트가 있는 장문 회의 녹취, 여러 애플리케이션에 걸친 컴퓨터 작업, 부작용의 확인 및 되돌림 가능성, 그리고 녹취 품질을 사용자 결과와 연결하는 단일 평가의 교차점에서는 얇습니다. 리포지토리는 이를 어떤 프로젝트의 결함이 아니라, 현존하는 것의 공백으로 명시합니다.
정직성 유지
- 데이터 파일에는 문서화된 스키마와 유효성 검사기가 있습니다. 필드 계약을 위반하는 행은 검사에 실패합니다.
- 모든 출처 링크는 정해진 일정에 따라 재확인됩니다. 명확한 404 또는 410은 감사를 통과하지 못합니다. 속도 제한 및 일시적인 오류는 깨진 링크로 잘못 분류되지 않도록 별도로 보고됩니다.
- 릴리스는 버전별 DOI와 함께 Zenodo에 보관되며, 레코드에는 데이터셋의 SHA-256이 포함되어 인용이 정확한 파일을 가리키도록 합니다.
- 수정 사항은 행, 필드, 제안된 값 및 1차 출처를 명시하고 새 버전으로 배포됩니다.
리포지토리는 github.com/Sophon-LLC/voice-agent-benchmark-landscape에 있으며, 인용 형식과 버전 목록은 레코드 페이지에 있습니다.