Das Voice Agent Benchmark Landscape ist ein von uns veröffentlichter Datensatz: eine strukturierte Übersicht öffentlicher Benchmarks für Sprachagenten, gesprochene Assistenten, sprachgesteuerte Werkzeugnutzung, Computerbedienung, Spracherkennung und das Verstehen von Meetings. Diese Seite ist der Beleg seiner Veröffentlichung.
Was es ist
- 13 Benchmarks, je eine Zeile, in einer maschinenlesbaren Datei (data/benchmarks.jsonl) mit einem dokumentierten Feldschema (data/schema.json).
- Jede Zeile erfasst den primären Fokus des Benchmarks; ob er gesprochene Eingaben, gesprochene Ausgaben, mehrstufige Interaktionen, Werkzeugnutzung, Zielerreichung, Computer- oder Browser-Aktionen, Meetings oder Langform-Material und Echtzeitbetrieb abdeckt; ob die Daten öffentlich sind; die Code- und Datenlizenzen, separat erfasst; die Adressen des Repositorys, der Dataset Card und des Papers; das Datum der letzten Überprüfung; und Belege.
- Die Werte sind ja, nein, teilweise oder unklar. Teilweise bedeutet, dass die Fähigkeit in einem Teil der Suite vorkommt oder indirekt evaluiert wird; es beschreibt nicht die Qualität.
- Jede Zeile hat mindestens eine Primärquelle, die im Quellenaudit aufgeführt ist. Fakten in der aktuellen Version wurden am 1. September 2026 anhand der öffentlichen Repositorys, Dataset Cards und Papers der Maintainer überprüft.
Was es nicht ist
- Keine Rangliste. Es enthält keine Punktzahlen und stuft nichts ein. Die Aufnahme impliziert keine Befürwortung. Warum es so aufgebaut wurde, steht in Wie das Voice-Agent-Benchmark-Landscape entstand.
- Kein Evaluations-Framework. Es gibt nichts, was man gegen ein Modell ausführen könnte; das Repository liefert die Daten, ihr Schema, einen Validator und ein Abfragewerkzeug.
- Nicht Cues Benchmark. Der private Produktions-Benchmark mit 227 Stichproben, der in der Fallstudie von Google DeepMind beschrieben wird, ist nicht Teil davon.
Wo es veröffentlicht wird
| Wo | Adresse | Rolle |
|---|---|---|
| GitHub | Sophon-LLC/voice-agent-benchmark-landscape | Primärquelle: Daten, Schema, Quellenaudit, Beitragsregeln, Tests |
| Zenodo | doi.org/10.5281/zenodo.22227265 | Archivierte Veröffentlichungen mit DOIs; der Konzept-DOI verweist immer auf die neueste Version. |
| Hugging Face | chatjesus/voice-agent-benchmark-landscape | Spiegel des Datensatzes. |
Versionen
| Version | Datum | Datensätze | Lizenz | Versions-DOI |
|---|---|---|---|---|
| v1.0.2 | 1. September 2026 | 13 | MIT | 10.5281/zenodo.22227266 |
Der Zenodo-Eintrag für v1.0.2 enthält den SHA-256 des Datensatzes (1d36c7b3f73565147fb7afff076c611c5fddc331e3ec47dc867625b75b70bbf4), sodass eine heruntergeladene Kopie mit der archivierten verglichen werden kann.
Wie Sie uns zitieren
Die Datei CITATION.cff des Repositorys nennt Sophon LLC als Autor. Zitieren Sie den Versions-DOI, wenn es auf exakte Reproduzierbarkeit ankommt, und den Konzept-DOI für das sich entwickelnde Projekt:
Sophon LLC. Voice Agent Benchmark Landscape, version 1.0.2. 1 September 2026. https://doi.org/10.5281/zenodo.22227266
Korrekturen
Eine Korrektur nennt die Zeile, das Feld, den vorgeschlagenen Wert und eine Erstanbieterquelle gemäß der Datei CONTRIBUTING.md des Repositorys. Änderungen werden als neue Version mit einem neuen DOI veröffentlicht.