「Voice agent evaluation」は、混同されやすい複数の異なる問題を含んでいます。ベンチマークによっては、タスク完了のテストは行わずに音声認識をテストしたり、実際の音声対話なしでツール呼び出しをテストしたりします。Voice Agent Benchmark Landscapeは、それらの境界を明確にするために存在します。この記事では、それがどのように構築されたかについて説明します。
ベンチマークごとに1行、フィールドごとに1つの問い
このデータセットは、2026年9月1日リリースの時点で13行で構成されています。各ベンチマークについて、主な焦点と、別々のフィールドとして、そのベンチマークが音声入力、音声出力、複数ターンの対話、ツール使用、目標達成、コンピューターまたはブラウザーの操作、会議または長文の資料、リアルタイム操作を対象としているかどうかを記録しています。また、データが公開されているか、コードライセンスとデータライセンスを個別に、リポジトリ、データセットカード、論文のアドレス、最終検証日、裏付けのメモも記録しています。
すべての機能の値は、「yes」「no」「partial」「unclear」の4つの単語のいずれかです。「Partial」は、機能がスイートの一部に現れるか、間接的に評価されることを意味し、品質については何も言及しません。「No」は、その機能が公開されている範囲外であるか、公開資料に存在しないことを意味し、そのプロジェクトがそれをサポートできないということではありません。「Unclear」は、公開資料が分類に不十分であった場合に使用され、一次情報源によって確定されるまでその状態が続きます。
情報源は一次情報源であり、ライセンスは2回記録される
各行は、メンテナー自身のレポジトリ、データセットカード、または論文を引用しており、二次的な記述からは何も分類されていません。リポジトリ内の情報源監査では、行ごとに、機能の値の裏付けとなったページと、ライセンスを記載したページがリストアップされています。コードとデータのライセンスが別々に記録されているのは、人々が想定するよりも異なる場合が多いためです。あるエントリーのコードとデータは、オープンソースライセンスではなく商用利用を制限するコミュニティライセンス下にあり、別のエントリーのコードはApache-2.0である一方、データはCC BY-NC 4.0でゲートがかけられています。ベンチマークを再利用するかどうかを判断する読者には、両方の事実が必要です。
スコアがない理由
リーダーボードには、共通のタスクと共通の指標が必要です。この13のプロジェクトは、13の異なる評価の問いのために設計されたものであるため、単一のランキングでは、比較されるように作られていないものを比較することになります。したがって、このランドスケープは、各ベンチマークが何を測定するかを記録し、どのシステムがそれでどのように機能するかについては一切記録しません。掲載は推奨を意味するものではなく、このデータセットには、Google DeepMindのケーススタディで説明されているCueの非公開の227サンプルの製品ベンチマークは含まれていません。
このマップが示している欠落部分
このように配置すると、公開されているランドスケープは、対話型カスタマーサービス、音声によるツール選択、音声アシスタントのコンテンツ評価、音声認識において最も強力です。任意のアプリケーションでの連続的なデスクトップ音声入力、構造化されたメモ付きの長文会議の文字起こし、アプリケーション横断的なコンピューター操作、副作用の確認と可逆性、そして文字起こしの品質をユーザーの成果に結びつける単一の評価、といった要素が交差する領域では手薄です。リポジトリでは、これを既存のもののギャップとして述べており、いずれかのプロジェクトの欠陥としてではありません。
誠実さを保つために
- データファイルには文書化されたスキーマとバリデーターがあり、フィールドの規約を破る行はチェックに失敗します。
- すべての情報源リンクは、スケジュールに従って再チェックされます。確定的な404または410は監査に失敗します。レート制限や一時的なエラーは、壊れたリンクとして誤って分類されないように別途報告されます。
- リリースはZenodoにバージョンごとにDOIを付けてアーカイブされ、レコードにはデータセットのSHA-256が記載されるため、引用は正確なファイルを指し示します。
- 修正は、行、フィールド、提案する値、および一次情報源を明記し、新しいバージョンとして提供されます。
リポジトリはgithub.com/Sophon-LLC/voice-agent-benchmark-landscapeにあります。引用形式とバージョンリストはレコードページに記載されています。