Voice Agent Benchmark Landscape, yayımladığımız bir veri setidir: sesli ajanlar, sesli asistanlar, ses özellikli araç kullanımı, bilgisayar eylemi, konuşma tanıma ve toplantı anlama için halka açık benchmark’ların yapılandırılmış bir haritasıdır. Bu sayfa, yayımının kaydıdır.
Ne olduğu
- Belgelenmiş bir alan sözleşmesine (data/schema.json) sahip, makine tarafından okunabilir bir dosyada (data/benchmarks.jsonl) her biri bir satır olmak üzere 13 benchmark.
- Her satırda benchmark’ın ana odağı; sesli girdi, sesli çıktı, çok turlu etkileşim, araç kullanımı, hedef tamamlama, bilgisayar veya tarayıcı eylemi, toplantı veya uzun biçimli materyal ve gerçek zamanlı çalışmayı kapsayıp kapsamadığı; verilerin halka açık olup olmadığı; ayrı ayrı kaydedilen kod ve veri lisansları; depo, veri seti kartı ve makale adresleri; son doğrulama tarihi ve kanıt notları kaydedilir.
- Değerler evet, hayır, kısmi veya belirsizdir. Kısmi, yeteneğin paketin bir bölümünde göründüğü veya dolaylı olarak değerlendirildiği anlamına gelir; kaliteyi tanımlamaz.
- Her satırda, kaynak denetiminde listelenen en az bir birinci taraf kaynak bulunur. Mevcut sürümdeki gerçekler, 1 Eylül 2026’da bakımcıların halka açık depolarından, veri seti kartlarından ve makalelerinden doğrulanmıştır.
Ne değildir
- Bir liderlik tablosu değildir. Hiçbir skor içermez ve hiçbir şeyi sıralamaz. Dahil edilmesi, onaylandığı anlamına gelmez. Neden bu şekilde oluşturulduğu Sesli ajan benchmark panoraması nasıl oluşturuldu bölümünde açıklanmıştır.
- Bir değerlendirme çerçevesi değildir. Bir modele karşı çalıştırılacak hiçbir şey yoktur; depo, veriyi, şemasını, bir doğrulayıcıyı ve bir sorgu aracını içerir.
- Cue’nun benchmark’ı değildir. Google DeepMind’ın vaka çalışmasında açıklanan özel 227 örnekli üretim benchmark’ı bunun bir parçası değildir.
Nerede yayımlanmaktadır
| Nerede | Adres | Rol |
|---|---|---|
| GitHub | Sophon-LLC/voice-agent-benchmark-landscape | Kayıt kaynağı: veri, şema, kaynak denetimi, katkı kuralları, testler |
| Zenodo | doi.org/10.5281/zenodo.22227265 | DOI’li arşivlenmiş sürümler; konsept DOI’si her zaman en son sürüme yönlendirir |
| Hugging Face | chatjesus/voice-agent-benchmark-landscape | Veri setinin yansıması |
Sürümler
| Sürüm | Tarih | Kayıtlar | Lisans | Sürüm DOI’si |
|---|---|---|---|---|
| v1.0.2 | 1 Eylül 2026 | 13 | MIT | 10.5281/zenodo.22227266 |
v1.0.2’nin Zenodo kaydı, veri setinin SHA-256’sını (1d36c7b3f73565147fb7afff076c611c5fddc331e3ec47dc867625b75b70bbf4) içerir, böylece indirilen bir kopya arşivlenmiş olanla karşılaştırılabilir.
Nasıl atıf yapılır
Deponun CITATION.cff dosyası, yazarı Sophon LLC olarak belirtir. Birebir tekrarlanabilirliğin önemli olduğu durumlarda sürüm DOI’sine, gelişen proje için ise konsept DOI’sine atıf yapın:
Sophon LLC. Voice Agent Benchmark Landscape, sürüm 1.0.2. 1 Eylül 2026. https://doi.org/10.5281/zenodo.22227266
Düzeltmeler
Bir düzeltme, deponun CONTRIBUTING.md dosyasına uygun olarak satırı, alanı, önerilen değeri ve birinci taraf bir kaynağı belirtir. Değişiklikler yeni bir DOI ile yeni bir sürüm olarak yayımlanır.