Blogg

Lokalt som standard, molnet som reserv: hur Cues putsningssteg hamnade på användarens dator

Cues putsningssteg för diktering utformades för molnet först, med en lokal reservlösning. En benchmark med 227 samplingar vände på det beslutet. Vad fallstudien säger om beslutet.

Publicerad

Cues diktering har ett putsningssteg: den råa transkriptionen, med sina utfyllnadsord och sin avsaknad av skiljetecken, görs om till text som låter som talaren menade. Var det steget körs avgjordes av en mätning, och mätningen är offentlig. Det här inlägget följer Google DeepMinds fallstudie, med siffror som är aktuella i maj 2026, och lägger inte till något som inte står på sidan.

Den ursprungliga utformningen

Steget byggdes för att använda en molnmodell, med en lokal modell som reserv. Antagandet var att en större modell skulle putsa med högre precision. Teamets uttalade mål för steget var text som lät som användaren snarare än som en modell: återställda skiljetecken, segmenterade meningar, borttagna utfyllnadsord, utan att påtvinga en husstil.

Mätningen

Teamet gjorde en benchmark av steget på 227 verkliga röstsamplingar som täckte engelska, andra språk och blandad språkinmatning. På den benchmarken valdes Gemma 4 E4B, som körs lokalt via Ollama på Apple Silicon, som förstahandsmodell. Medianlatensen för putsningssteget sjönk från 876 ms till 488 ms, vilket sidan beskriver som inom den budget teamet hade satt för ett steg som måste kännas snabbare än att skriva.

Vändningen

Efter benchmarken vändes arkitekturen: den lokala modellen blev standard och molnmodellen blev reserv. Skrivbordsappen kontrollerar vid start om Ollama körs; om det inte gör det dirigeras putsningssteget till en molnmodell och dikteringen fortsätter.

Vad som ändrades för användare, enligt sidan

  • Diktering per användare ökade med cirka 30 procent bland aktiva betaanvändare under de fyra veckorna före och efter bytet; användare som hade dikterat korta meddelanden började diktera längre.
  • Marginalkostnaden för inferens för steget sjönk till noll, och sidan anger det som skälet till att diktering är obegränsad på alla nivåer, inklusive gratisnivån.

Påståendets gränser

Endast putsningssteget flyttades. Transkription görs av en molnbaserad tal-till-text-tjänst före putsningssteget, och Cues agentläge förlitar sig på en molnmodell. Sidan rapporterar tidiga utvärderingar av Gemma 4:s funktionsanrop för fristående agentuppgifter och kallar dem tidiga. Vår startsida säger därför att putsningen körs på användarens dator och säger inget om att agenten körs lokalt; sidan om plattformar anger samma gräns.

Alla inlägg