Blog

Local per standard, cloud sco fallback: co ch’il pass da fin-lavur da Cue è arrivà sin la maschina da l’utilisader

Il pass da fin-lavur dal dictat da Cue è vegnì concepì sco soluziun cloud-first cun ina varianta locala sco fallback. In benchmark cun 227 exemplars ha invertì questa decisiun. Tge che la studi da cas documentescha davart la decisiun.

Publitgà ils

Il dictat da Cue ha in pass da fin-lavur: la transcripziun criva, cun pleds da remplenissadi e punctuaziun mancanta, vegn transfurmada en in text che sa legia sco che la persuna che discurra l’ha manegià. Nua che quest pass vegn exequì è vegnì decidì cun ina mesiraziun, e questa mesiraziun è publica. Questa contribuziun suonda la studi da cas da Google DeepMind, cun cifras actualas dal matg 2026, e n’agiunta nagut che la pagina na menziunescha betg.

Il design original

Il pass è vegnì concepì per duvrar in model da cloud, cun in model local sco fallback, partind da la supposiziun ch’in model pli grond faschess la fin-lavur a moda pli exacta. La finamira declerada da la gruppa per quest pass era in text che sa legia sco l’utilisader e betg sco in model: cun punctuaziun restabilida, frasas segmentadas, pleds da remplenissadi eliminads, senza imponer in stil da chasa.

La mesiraziun

La gruppa ha fatg in benchmark dal pass cun 227 exemplars da vusch reals che cuvran englais, autras linguas ed input pluriling. Sin basa da quest benchmark è Gemma 4 E4B, exequì localmain via Ollama sin Apple Silicon, vegnì elegì sco model da prim’elecziun. La latenza mediana dal pass da fin-lavur è sa reducida da 876 ms sin 488 ms, quai che la pagina descriva sco entaifer il budget che la gruppa aveva fixà per in pass che sto parair pli svelt che scriver.

L’inversiun

Suenter il benchmark è l’architectura vegnida invertida: il model local è daventà il standard ed il model da cloud il fallback. L’app da desktop controllescha a l’entschatta sch’Ollama è activ; sche quai n’è betg il cas, vegn il pass da fin-lavur drizzà ad in model da cloud ed il dictat cuntinuescha.

Tge ch’è sa midà per ils utilisaders, tenor la pagina

  • Il dictat per utilisader è creschì per circa 30 pertschient tar ils utilisaders da beta activs en las quatter emnas avant e suenter la midada; utilisaders ch’avevan dictà messadis curts han cumenzà a dictar tals pli lungs.
  • Ils custs d’inferenza marginals dal pass èn crudads sin nulla, e la pagina inditgescha quai sco motiv daco ch’il dictat è illimità sin tut ils livels, inclusiv quel gratuit.

La limita da l’affirmaziun

Mo il pass da fin-lavur è sa spustà. La transcripziun vegn fatga d’in servetsch speech-to-text en il cloud avant il pass da fin-lavur, ed il modus dad agent da Cue sa basa sin in model da cloud. La pagina rapportescha emprimas evaluaziuns dal function calling da Gemma 4 per incumbensas d’agent autonomas e las numna prematuras. Nossa pagina da partenza di perquai ch’il pass da fin-lavur vegn exequì sin la maschina da l’utilisader e na di nagut davart l’agent che funcziuna localmain; la pagina da las plattafurmas registrescha la medema limita.

Tut las contribuziuns