«Voice agent evaluation» cumpiglia plirs problems differents ch'ins po confunder tgunsch. In benchmark po testar la reconuschientscha da la lingua discurrida senza testar l'execuziun d'ina incumbensa, u testar cloms d'utensils senza in'interacziun discurrida live. Il Voice Agent Benchmark Landscape exista per render quests cunfins explicits. Quest post tracta da co el è vegnì creà.
Ina lingia per benchmark, ina dumonda per champ
La collecziun da datas ha 13 lingias en la versiun dal 1. da settember 2026. Per mintga benchmark registrescha ella il focus principal e, sco champs separats, schebain il benchmark cuvra input discurrì, output discurrì, interacziun a pliras battidas, diever d'utensils, cumpleniment da finamiras, acziuns sin computer u en browser, material da sesidas u da lunga furma, ed operaziun en temp real. Ella registrescha er schebain las datas èn publicas, la licenza dal code e la licenza da las datas separadamain, las adressas dal repositori, da la carta da la collecziun da datas e da la publicaziun scientifica, la data da l'ultima verificaziun e notas da cumprova.
Mintga valur da cumpetenza è in da quatter pleds: yes, no, partial u unclear. «Partial» munta che la cumpetenza cumpara en ina part d'ina suita u vegn evaluada indirectamain; quai na di nagut davart la qualitad. «No» munta che la cumpetenza è ordaifer il champ da valaivladad publitgà u manca en ils materials publics, betg che la cumpetenza na pudess mai vegnir sustegnida dal project. «Unclear» vegn duvrà, sch'il material public n'è betg stà suffizient per classifitgar, e resta uschia fin ch'ina funtauna da l'emprim maun sclerischa la chaussa.
Las funtaunas èn directas, e las licenzas vegnan registradas duas giadas
Mintga lingia citescha il repository, la carta da la collecziun da datas u la publicaziun dals manischunzs sezs; nagut na vegn classifitgà a basa d’ina descripziun secundara. L’audit da las funtaunas en il repository enumerescha per lingia las paginas che sustegnan las valurs da las capabilitads e las paginas che inditgeschan las licenzas. Las licenzas per il code e per las datas vegnan registradas separadamain, perquai ch’ellas differeschan pli savens che quai ch’ins suppona: il code ed las datas d’ina endataziun èn suttamess ad ina licenza da la communitad che n’è betg ina licenza d’open-source e che restrenscha l’utilisaziun commerziala; il code d’in’autra è Apache-2.0, entant che sias datas èn CC BY-NC 4.0 e protegidas. In lectur che decida, schebain reutilisar in benchmark, dovra omaduas infurmaziuns.
Pertge che nus na publitgain nagins puncts
Ina tabella da rangaziun dovra in’incumbensa communabla ed ina metrica communabla. Ils tredesch projects èn vegnids sviluppads per tredesch dumondas d’evaluaziun differentas, uschia ch’ina singula rangaziun cumparegliass chaussas che n’èn betg vegnidas stgaffidas per vegnir cumparegliadas. La survista documentescha perquai tge che mintga benchmark mesira e nagut davart la prestaziun da sistems specifics. L’includiment na signifitga nagina recumandaziun, e la collecziun da datas na cuntegna betg il benchmark da producziun privat da Cue cun 227 exemplars, ch’è descrit en il studi da cas da Google DeepMind.
Tge che la survista mussa che manca
Preschentada en questa moda è la survista publica la pli ferma en ils secturs dal servetsch da clientella conversaziunal, da la selecziun d’utensils pledada, da l’evaluaziun dal cuntegn d’agents vocals e da la renconuschientscha da la lingua. Ella è pli flaivla en ils secturs da la transcripziun cuntinuanta en applicaziuns arbitrarias, da la transcripziun da sesidas lungas cun notas structuradas, da l’acziun d’ordinaturs tranter applicaziuns, da la conferma e da la reversibladad d’effects secundars, e tar mintga singula evaluaziun che collia la qualitad da la transcripziun cun ils resultats per l’utilisader. Il repository declera quai sco ina largia en l’existent, betg sco in defect en in project.
Garantir la correctadad
- La datoteca da datas ha in schema documentà ed in validatur; ina lingia che violescha il contract da champs na passa betg la controlla.
- Mintga link da funtauna vegn controllà regularmain. In 404 u 410 definitiv fa naufragi l’audit; limits da rata ed errurs temporaras vegnan rapportads separadamain, per ch’els na vegnian betg declerads faussamain sco links defects.
- Las versiuns vegnan archivadas sin Zenodo cun in DOI per versiun, e la registraziun cuntegna il SHA-256 da la collecziun da datas, uschia ch’ina citaziun sa referescha ad ina datoteca exacta.
- Correcturas nomineschan la lingia, il champ, la valur proponida ed ina funtauna da l’emprima partida, e vegnan publitgadas sco nova versiun.
Il repository sa chatta sin github.com/Sophon-LLC/voice-agent-benchmark-landscape; il format da citaziun e la glista da versiuns èn sin la pagina da registraziun.