Blog

Standardně lokálně, cloud jako záloha: jak krok doladění v Cue skončil na zařízení uživatele

Krok doladění diktování v Cue byl navržen primárně pro cloud, s lokální zálohou. Benchmark na 227 vzorcích toto rozhodnutí zvrátil. Co o tomto rozhodnutí uvádí případová studie.

Zveřejněno

Diktování v Cue má krok doladění: surový přepis s výplňkovými slovy a chybějící interpunkcí se mění na text, který zní tak, jak ho mluvčí zamýšlel. O tom, kde tento krok probíhá, rozhodlo měření a toto měření je veřejné. Tento příspěvek vychází z případové studie Google DeepMind, s údaji aktuálními k květnu 2026, a nepřidává nic, co by na dané stránce nebylo uvedeno.

Původní návrh

Tento krok byl vytvořen pro použití cloudového modelu s lokálním modelem jako zálohou, a to za předpokladu, že větší model bude doladění provádět přesněji. Deklarovaným cílem týmu pro tento krok byl text, který by zněl jako od uživatele, nikoli jako od modelu: obnovená interpunkce, rozdělené věty, odstraněná výplňková slova, to vše bez vnucování jednotného stylu.

Měření

Tým provedl benchmark tohoto kroku na 227 reálných hlasových vzorcích zahrnujících angličtinu, další jazyky a vícejazyčný vstup. Na základě tohoto benchmarku byl jako model první volby vybrán Gemma 4 E4B, spuštěný lokálně přes Ollama na Apple Silicon. Medián latence kroku doladění klesl z 876 ms na 488 ms, což stránka popisuje jako hodnotu v rámci rozpočtu, který tým stanovil pro krok, jenž musí působit rychleji než psaní na klávesnici.

Obrácení

Po benchmarku byla architektura obrácena: lokální model se stal výchozím a cloudový model záložním. Desktopová aplikace při spuštění kontroluje, zda běží Ollama; pokud ne, krok doladění se přesměruje na cloudový model a diktování pokračuje.

Co se podle stránky změnilo pro uživatele

  • Diktování na jednoho uživatele vzrostlo přibližně o 30 procent napříč aktivními uživateli beta verze během čtyř týdnů před a po změně; uživatelé, kteří diktovali krátké zprávy, začali diktovat delší.
  • Mezní náklady na inferenci tohoto kroku klesly na nulu a stránka to uvádí jako důvod, proč je diktování neomezené ve všech tarifech, včetně bezplatného.

Hranice tvrzení

Přesunul se pouze krok doladění. Přepis provádí před krokem doladění cloudová služba pro převod řeči na text a režim agenta v Cue se spoléhá na cloudový model. Stránka uvádí raná hodnocení volání funkcí modelu Gemma 4 pro samostatné úkoly agenta a označuje je za raná. Naše domovská stránka proto uvádí, že doladění běží na zařízení uživatele, a neříká nic o tom, že by agent běžel lokálně; stránka platformy zaznamenává stejnou hranici.

Všechny příspěvky