Cues diktering har et finpuss-steg: den rå transkripsjonen, med fyllord og manglende tegnsetting, gjøres om til tekst som leses slik taleren mente det. Hvor dette steget kjøres, ble avgjort av en måling, og målingen er offentlig. Dette innlegget følger Google DeepMinds casestudie, med tall gjeldende fra mai 2026, og legger ikke til noe som ikke står på siden.
Den opprinnelige utformingen
Steget ble bygget for å bruke en skymodell, med en lokal modell som reserveløsning, under antakelsen om at en større modell ville gi en mer nøyaktig finpuss. Teamets uttalte mål for steget var tekst som hørtes ut som brukeren, ikke som en modell: gjenopprettet tegnsetting, segmenterte setninger, fjernede fyllord, uten å påtvinge en husstil.
Målingen
Teamet kjørte en benchmark av steget på 227 ekte stemmeopptak som dekket engelsk, andre språk og flerspråklig input. På den benchmarken ble Gemma 4 E4B, som kjører lokalt via Ollama på Apple Silicon, valgt som førstevalgsmodell. Medianforsinkelsen for finpuss-steget falt fra 876 ms til 488 ms, noe siden beskriver som innenfor budsjettet teamet hadde satt for et steg som må føles raskere enn å skrive.
Reverseringen
Etter benchmarken ble arkitekturen snudd: den lokale modellen ble standard og skymodellen ble reserveløsning. Skrivebordsprogrammet sjekker ved oppstart om Ollama kjører; hvis ikke, rutes finpuss-steget til en skymodell, og dikteringen fortsetter.
Hva som endret seg for brukerne, ifølge siden
- Diktering per bruker økte med omtrent 30 prosent blant aktive betabrukere i de fire ukene før og etter byttet; brukere som hadde diktert korte meldinger, begynte å diktere lengre.
- Den marginale inferenskostnaden for steget falt til null, og siden oppgir dette som grunnen til at diktering er ubegrenset på alle nivåer, inkludert gratisnivået.
Avgrensningen av påstanden
Bare finpuss-steget ble flyttet. Transkripsjon gjøres av en skybasert tale-til-tekst-tjeneste før finpuss-steget, og Cues agentmodus er avhengig av en skymodell. Siden rapporterer tidlige evalueringer av Gemma 4s funksjonskall for selvstendige agentoppgaver og kaller dem tidlige. Vår forside sier derfor at finpussen kjører på brukerens maskin og sier ingenting om at agenten kjører lokalt; plattformsiden dokumenterer den samme avgrensningen.