“Voice agent evaluation” obuhvaća nekoliko različitih problema koje je lako pomiješati. Benchmark može testirati prepoznavanje govora bez testiranja izvršenja zadatka ili testirati pozive alata bez govorne interakcije uživo. Voice Agent Benchmark Landscape postoji kako bi te granice učinio izričitima. Ovaj članak govori o tome kako je izrađen.
Jedan redak po benchmarku, jedno pitanje po polju
Skup podataka u izdanju od 1. rujna 2026. ima 13 redaka. Za svaki benchmark bilježi primarni fokus i, kao zasebna polja, pokriva li benchmark govorni unos, govorni izlaz, interakciju u više krugova, korištenje alata, ispunjenje cilja, radnje na računalu ili u pregledniku, materijale sa sastanaka ili duge forme te rad u stvarnom vremenu. Također bilježi jesu li podaci javni, licencu za kod i licencu za podatke zasebno, adrese repozitorija, kartice skupa podataka i znanstvenog rada, datum zadnje provjere i bilješke o dokazima.
Svaka vrijednost sposobnosti jedna je od četiri riječi: yes, no, partial ili unclear. “Partial” znači da se sposobnost pojavljuje u dijelu paketa ili se procjenjuje neizravno; ne govori ništa o kvaliteti. “No” znači da je sposobnost izvan objavljenog opsega ili da je nema u javnim materijalima, a ne da je projekt nikada ne bi mogao podržati. “Unclear” se koristi kada javni materijal nije bio dovoljan za klasifikaciju i ostaje dok to ne riješi izvor iz prve ruke.
Izvori su izvorni, a licence se bilježe dvaput
Svaki redak navodi vlastiti repozitorij, karticu skupa podataka ili rad održavatelja; ništa nije klasificirano na temelju sekundarnog opisa. Revizija izvora u repozitoriju navodi, za svaki redak, stranice koje potkrepljuju vrijednosti sposobnosti i stranice koje navode licence. Licence za kôd i podatke bilježe se odvojeno jer se razlikuju češće nego što ljudi pretpostavljaju: kôd i podaci jedne stavke podliježu licenci zajednice koja nije licenca otvorenog koda i ograničava komercijalnu upotrebu; kôd druge stavke je pod licencom Apache-2.0, dok su njezini podaci pod licencom CC BY-NC 4,0 i zaštićeni pristupom. Čitatelju koji odlučuje hoće li ponovno upotrijebiti benchmark potrebne su obje činjenice.
Zašto nema rezultata
Ljestvica poretka zahtijeva zajednički zadatak i zajedničku metriku. Trinaest projekata osmišljeno je za trinaest različitih evaluacijskih pitanja, stoga bi jedinstveno rangiranje uspoređivalo stvari koje nisu stvorene za usporedbu. Pregled stoga bilježi što svaki benchmark mjeri, a ne kako se bilo koji sustav na njemu ponaša. Uključivanje ne podrazumijeva podršku, a skup podataka ne sadrži Cueov privatni produkcijski benchmark od 227 uzoraka opisan u studiji slučaja tvrtke Google DeepMind.
Što karta pokazuje da nedostaje
Ovako postavljen, javni pregled najjači je u konverzacijskoj korisničkoj službi, govornom odabiru alata, evaluaciji sadržaja glasovnih agenata i prepoznavanju govora. Slab je na sjecištu kontinuiranog glasovnog tipkanja na računalu u proizvoljnim aplikacijama, transkripcije dugih sastanaka sa strukturiranim bilješkama, računalnih radnji među aplikacijama, potvrde i reverzibilnosti nuspojava te bilo koje pojedinačne evaluacije koja povezuje kvalitetu transkripcije s ishodima za korisnika. Repozitorij to navodi kao prazninu u onome što postoji, a ne kao nedostatak bilo kojeg projekta.
Održavanje vjerodostojnosti
- Datoteka s podacima ima dokumentiranu shemu i validator; redak koji krši ugovor o polju ne prolazi provjeru.
- Svaka se poveznica na izvor ponovno provjerava prema rasporedu. Definitivna pogreška 404 ili 410 ne prolazi reviziju; ograničenja brzine i prolazne pogreške prijavljuju se zasebno kako ne bi bile pogrešno označene kao neispravne poveznice.
- Izdanja se arhiviraju na Zenodu s DOI-jem po verziji, a zapis sadrži SHA-256 skupa podataka, tako da citat upućuje na točnu datoteku.
- Ispravci navode redak, polje, predloženu vrijednost i izvor prvog lica te se isporučuju kao nova verzija.
Repozitorij se nalazi na github.com/Sophon-LLC/voice-agent-benchmark-landscape; format citiranja i popis verzija nalaze se na stranici zapisa.