„Voice agent evaluation“ apima kelias skirtingas problemas, kurias lengva supainioti. Benchmark gali tikrinti kalbos atpažinimą, bet ne užduoties įvykdymą, arba įrankių iškvietas be tiesioginės žodinės sąveikos. Voice Agent Benchmark Landscape buvo sukurta tam, kad šios ribos būtų aiškios. Šis įrašas yra apie tai, kaip ji buvo sukurta.
Viena eilutė vienam „benchmark“, vienas klausimas vienam laukui
2026 m. rugsėjo 1 d. versijos duomenų rinkinyje yra 13 eilučių. Kiekvienam „benchmark“ jame įrašyta pagrindinė sritis ir, atskiruose laukuose, ar „benchmark“ apima įvestį balsu, išvestį balsu, kelių ėjimų sąveiką, įrankių naudojimą, tikslo įvykdymą, kompiuterio ar naršyklės veiksmus, susitikimų ar ilgos formos medžiagą ir veikimą realiuoju laiku. Taip pat įrašyta, ar duomenys yra vieši, atskirai nurodytos kodo ir duomenų licencijos, saugyklos, duomenų rinkinio kortelės ir mokslinio straipsnio adresai, paskutinio patikrinimo data ir įrodymų pastabos.
Kiekviena galimybės reikšmė yra vienas iš keturių žodžių: „yes“, „no“, „partial“ arba „unclear“. „Partial“ reiškia, kad galimybė yra rinkinio dalyje arba vertinama netiesiogiai; tai nieko nesako apie kokybę. „No“ reiškia, kad galimybė nepatenka į paskelbtą apimtį arba jos nėra viešoje medžiagoje, o ne tai, kad projektas niekada negalėtų jos palaikyti. „Unclear“ naudojama, kai viešos medžiagos nepakako klasifikuoti, ir lieka tol, kol pirminis šaltinis tai išspręs.
Šaltiniai yra pirminiai, o licencijos įrašytos du kartus
Kiekvienoje eilutėje nurodoma pačių prižiūrėtojų saugykla, duomenų rinkinio kortelė arba straipsnis; niekas neklasifikuojama pagal antrinį aprašymą. Saugykloje esančiame šaltinių audite kiekvienai eilutei nurodomi puslapiai, kuriais pagrindžiamos galimybių vertės, ir puslapiai, kuriuose nurodomos licencijos. Kodo ir duomenų licencijos registruojamos atskirai, nes jos skiriasi dažniau, nei manoma: vieno įrašo kodui ir duomenims taikoma bendruomenės licencija, kuri nėra atvirojo kodo licencija ir riboja komercinį naudojimą; kito kodas yra „Apache-2.0“, o duomenys – „CC BY-NC 4.0“ ir su prieigos apribojimu. Skaitytojui, sprendžiančiam, ar pakartotinai naudoti „benchmark“, reikia abiejų faktų.
Kodėl nėra balų
Pirmaujančiųjų sąrašui reikia bendros užduoties ir bendros metrikos. Trylika projektų buvo sukurti trylikai skirtingų vertinimo klausimų, todėl vienas reitingas lygintų dalykus, kurie nebuvo sukurti lyginti. Todėl apžvalgoje fiksuojama, ką matuoja kiekvienas „benchmark“, ir nieko nesakoma apie tai, kaip kuri nors sistema jame veikia. Įtraukimas nereiškia pritarimo, o duomenų rinkinyje nėra privataus „Cue“ 227 pavyzdžių gamybinio „benchmark“, aprašyto „Google DeepMind“ atvejo analizėje.
Ko trūksta žemėlapyje
Taip išdėstyta vieša apžvalga yra stipriausia pokalbių klientų aptarnavimo, sakytinio įrankių pasirinkimo, balso agento turinio vertinimo ir kalbos atpažinimo srityse. Ji menka šiose srityse: nuolatinis teksto rinkimas balsu darbalaukyje bet kokiose programose, ilgų susitikimų transkripcija su struktūrizuotais užrašais, kelių programų apimantys kompiuterio veiksmai, šalutinių poveikių patvirtinimas ir atšaukiamumas bei bet koks pavienis vertinimas, siejantis transkripcijos kokybę su vartotojo rezultatais. Saugykloje tai nurodoma kaip esamų sprendimų spraga, o ne kaip kurio nors projekto trūkumas.
Sąžiningumo užtikrinimas
- Duomenų faile yra dokumentuota schema ir tikrintuvas; eilutė, pažeidžianti laukų sutartį, nepraeina patikros.
- Kiekviena šaltinio nuoroda periodiškai tikrinama iš naujo. Galutinė 404 arba 410 klaida laikoma audito nesėkme; greičio apribojimai ir laikinos klaidos pranešamos atskirai, kad nebūtų klaidingai pažymėtos kaip neveikiančios nuorodos.
- Leidimai archyvuojami „Zenodo“ su DOI kiekvienai versijai, o įraše nurodomas duomenų rinkinio SHA-256, todėl citata nurodo tikslų failą.
- Taisymuose nurodoma eilutė, laukas, siūloma vertė ir pirminis šaltinis, ir jie išleidžiami kaip nauja versija.
Saugykla yra adresu github.com/Sophon-LLC/voice-agent-benchmark-landscape; citavimo formatas ir versijų sąrašas pateikiami įrašo puslapyje.