Das Voice Agent Benchmark Landscape ist ein von uns veröffentlichter Datensatz: eine strukturierte Übersicht öffentlicher Benchmarks für Sprachagenten, Sprachassistenten, sprachgesteuerte Werkzeugnutzung, Computerbedienung, Spracherkennung und das Verstehen von Besprechungen. Diese Seite ist der Beleg seiner Veröffentlichung.
Was es ist
- 13 Benchmarks, je eine Zeile, in einer maschinenlesbaren Datei (data/benchmarks.jsonl) mit einem dokumentierten Feldschema (data/schema.json).
- Jede Zeile erfasst den primären Fokus des Benchmarks; ob er gesprochene Eingaben, gesprochene Ausgaben, Interaktionen über mehrere Dialogrunden, Werkzeugnutzung, Zielerreichung, Computer- oder Browser-Aktionen, Besprechungen oder Langform-Material und Echtzeitbetrieb abdeckt; ob die Daten öffentlich sind; die Code- und Datenlizenzen, separat erfasst; die Adressen des Repositorys, der Dataset Card und des Papers; das Datum der letzten Überprüfung; und Anmerkungen zu den Belegen.
- Die Werte sind ja, nein, teilweise oder unklar. Teilweise bedeutet, dass die Fähigkeit in einem Teil der Suite vorkommt oder indirekt evaluiert wird; es beschreibt nicht die Qualität.
- Jede Zeile hat mindestens eine Primärquelle, die im Quellenaudit aufgeführt ist. Fakten in der aktuellen Version wurden am 1. September 2026 anhand der öffentlichen Repositorys, Dataset Cards und Papers der Maintainer überprüft.
Was es nicht ist
- Keine Rangliste. Es enthält keine Punktzahlen und stuft nichts ein. Die Aufnahme impliziert keine Befürwortung. Warum es so aufgebaut wurde, steht in Wie die Benchmark-Landschaft für Sprachagenten entstand.
- Kein Evaluations-Framework. Es gibt nichts, was man gegen ein Modell ausführen könnte; das Repository liefert die Daten, ihr Schema, einen Validator und ein Abfragewerkzeug.
- Nicht Cues Benchmark. Der private Produktions-Benchmark mit 227 Sprachproben, der in der Fallstudie von Google DeepMind beschrieben wird, ist nicht Teil davon.
Wo es veröffentlicht wird
| Wo | Adresse | Rolle |
|---|---|---|
| GitHub | Sophon-LLC/voice-agent-benchmark-landscape | Maßgebliche Quelle: Daten, Schema, Quellenaudit, Beitragsregeln, Tests |
| Zenodo | doi.org/10.5281/zenodo.22227265 | Archivierte Veröffentlichungen mit DOIs; der Konzept-DOI verweist immer auf die neueste Version. |
| Hugging Face | chatjesus/voice-agent-benchmark-landscape | Spiegel des Datensatzes. |
Versionen
| Version | Datum | Einträge | Lizenz | Versions-DOI |
|---|---|---|---|---|
| v1.0.2 | 1. September 2026 | 13 | MIT | 10.5281/zenodo.22227266 |
Der Zenodo-Eintrag für v1.0.2 enthält den SHA-256 des Datensatzes (1d36c7b3f73565147fb7afff076c611c5fddc331e3ec47dc867625b75b70bbf4), sodass eine heruntergeladene Kopie mit der archivierten verglichen werden kann.
Wie Sie es zitieren
Die Datei CITATION.cff des Repositorys nennt Sophon LLC als Autor. Zitieren Sie den Versions-DOI, wenn es auf exakte Reproduzierbarkeit ankommt, und den Konzept-DOI für das sich entwickelnde Projekt:
Sophon LLC. Voice Agent Benchmark Landscape, version 1.0.2. 1 September 2026. https://doi.org/10.5281/zenodo.22227266
Korrekturen
Eine Korrektur nennt gemäß der Datei CONTRIBUTING.md des Repositorys die Zeile, das Feld, den vorgeschlagenen Wert und eine Primärquelle. Änderungen werden als neue Version mit einem neuen DOI veröffentlicht.