„Voice agent evaluation” acoperă mai multe probleme diferite care sunt ușor de confundat. Un benchmark poate testa recunoașterea vorbirii fără a testa finalizarea sarcinii, sau poate testa apeluri la instrumente fără o interacțiune vocală live. Voice Agent Benchmark Landscape există pentru a face aceste delimitări explicite. Acest articol este despre cum a fost construit.
Un rând per benchmark, o întrebare per câmp
Setul de date are 13 rânduri în versiunea din 1 septembrie 2026. Pentru fiecare benchmark, înregistrează obiectivul principal și, în câmpuri separate, dacă benchmarkul acoperă intrarea vocală, ieșirea vocală, interacțiunea în mai multe ture, utilizarea instrumentelor, finalizarea obiectivelor, acțiunile pe computer sau în browser, materialele de tip ședință sau lungi și operarea în timp real. De asemenea, înregistrează dacă datele sunt publice, licența codului și licența datelor separat, adresele depozitului, cardului setului de date și lucrării, data ultimei verificări și notele de dovadă.
Fiecare valoare a unei capacități este unul dintre cele patru cuvinte: yes, no, partial sau unclear. „Partial” înseamnă că o capacitate apare într-o parte a unei suite sau este evaluată indirect; nu spune nimic despre calitate. „No” înseamnă că o capacitate este în afara scopului publicat sau absentă din materialele publice, nu că proiectul nu ar putea-o susține niciodată. „Unclear” este folosit atunci când materialul public a fost insuficient pentru a clasifica, și rămâne așa până când o sursă directă de la dezvoltator clarifică situația.
Sursele sunt primare, iar licențele sunt înregistrate de două ori
Fiecare rând citează depozitul, fișa setului de date sau lucrarea proprie a dezvoltatorilor; nimic nu este clasificat pe baza unei surse secundare. Auditul surselor din depozit listează, pentru fiecare rând, paginile care au susținut valorile de capabilitate și paginile care specifică licențele. Licențele pentru cod și pentru date sunt înregistrate separat, deoarece diferă mai des decât se presupune: codul și datele unei intrări sunt sub o licență comunitară care nu este o licență open-source și restricționează utilizarea comercială; codul alteia este Apache-2.0, în timp ce datele sale sunt CC BY-NC 4,0 și cu acces controlat. Un cititor care decide dacă să refolosească un benchmark are nevoie de ambele informații.
De ce nu există scoruri
Un clasament necesită o sarcină comună și o metrică comună. Cele treisprezece proiecte au fost concepute pentru treisprezece întrebări de evaluare diferite, deci un singur clasament ar compara lucruri care nu au fost create pentru a fi comparate. Prin urmare, peisajul înregistrează ce măsoară fiecare benchmark și nimic despre performanța vreunui sistem pe acesta. Includerea nu implică o susținere, iar setul de date nu conține benchmarkul de producție privat al Cue, cu 227 de eșantioane, descris în studiul de caz al Google DeepMind.
Ce arată harta că lipsește
Prezentat astfel, peisajul public este cel mai puternic în serviciul clienți conversațional, selecția de unelte prin comandă vocală, evaluarea conținutului pentru asistenți vocali și recunoașterea vorbirii. Este slab la intersecția dintre dictarea vocală continuă pe desktop în aplicații arbitrare, transcrierea ședințelor lungi cu notițe structurate, acțiunile pe calculator între aplicații, confirmarea și reversibilitatea efectelor secundare și orice evaluare unică ce leagă calitatea transcrierii de rezultatele pentru utilizator. Depozitul menționează acest lucru ca pe o lacună în ceea ce există, nu ca pe un defect al vreunui proiect.
Menținerea onestității
- Fișierul de date are o schemă documentată și un validator; un rând care încalcă contractul de câmpuri nu trece de verificare.
- Fiecare link sursă este reverificat la intervale regulate. Un cod 404 sau 410 definitiv nu trece de audit; limitele de rată și erorile tranzitorii sunt raportate separat, pentru a nu fi etichetate greșit ca linkuri nefuncționale.
- Versiunile sunt arhivate pe Zenodo cu un DOI pentru fiecare versiune, iar înregistrarea conține SHA-256 al setului de date, astfel încât o citare indică un fișier exact.
- Corecturile specifică rândul, câmpul, valoarea propusă și o sursă primară și sunt publicate ca o nouă versiune.
Depozitul se află la github.com/Sophon-LLC/voice-agent-benchmark-landscape; formatul de citare și lista de versiuni sunt pe pagina înregistrării.