Emuārs

Pēc noklusējuma lokāli, mākonis kā alternatīva: kā Cue pieslīpēšanas solis nonāca lietotāja datorā

Cue diktēšanas pieslīpēšanas solis tika izstrādāts mākonim ar lokālu alternatīvu. 227 paraugu benchmark to mainīja. Ko gadījuma izpēte fiksē par šo lēmumu.

Publicēts

Cue diktēšanai ir pieslīpēšanas solis: neapstrādāta transkripcija ar liekvārdiem un trūkstošām pieturzīmēm tiek pārvērsta tekstā, kas skan tā, kā runātājs to bija domājis. Lēmums par to, kur šis solis tiek izpildīts, tika pieņemts, pamatojoties uz mērījumu, un šis mērījums ir publisks. Šis raksts seko Google DeepMind gadījuma izpētei, izmantojot skaitļus, kas aktuāli 2026. gada maijā, un nepievieno neko, kas nav minēts lapā.

Sākotnējais dizains

Solis tika izstrādāts, lai izmantotu mākoņa modeli, ar lokālu modeli kā alternatīvu, pieņemot, ka lielāks modelis veiks pieslīpēšanu precīzāk. Komandas norādītais mērķis šim solim bija teksts, kas skanētu kā lietotājs, nevis kā modelis: atjaunotas pieturzīmes, sadalīti teikumi, noņemti liekvārdi, neuzspiežot vienotu stilu.

Mērījums

Komanda veica soļa benchmark ar 227 reāliem balss paraugiem, kas ietvēra angļu valodu, citas valodas un jauktu valodu ievadi. Pamatojoties uz šo benchmark, par primāro modeli tika izvēlēts Gemma 4 E4B, kas darbojas lokāli, izmantojot Ollama uz Apple Silicon. Pieslīpēšanas soļa mediānas latentums samazinājās no 876 ms līdz 488 ms, ko lapa raksturo kā atbilstošu komandas noteiktajam budžetam solim, kam jābūt ātrākam par rakstīšanu.

Pārmaiņas

Pēc benchmark arhitektūra tika apgriezta: lokālais modelis kļuva par noklusējuma variantu, bet mākoņa modelis — par alternatīvu. Datora lietotne startēšanas brīdī pārbauda, vai darbojas Ollama; ja nē, pieslīpēšanas solis tiek novirzīts uz mākoņa modeli, un diktēšana turpinās.

Kas mainījās lietotājiem, saskaņā ar lapu

  • Diktēšanas apjoms uz vienu lietotāju pieauga par aptuveni 30 procentiem aktīvo beta lietotāju vidū četrās nedēļās pirms un pēc pārmaiņām; lietotāji, kas bija diktējuši īsas ziņas, sāka diktēt garākas.
  • Soļa robežizmaksas par inferenci nokritās līdz nullei, un lapa to min kā iemeslu, kāpēc diktēšana ir neierobežota visos plānos, ieskaitot bezmaksas plānu.

Apgalvojuma robežas

Tika pārvietots tikai pieslīpēšanas solis. Transkripciju pirms pieslīpēšanas soļa veic mākoņa runas-teksta pakalpojums, un Cue aģenta režīms paļaujas uz mākoņa modeli. Lapa ziņo par agrīniem Gemma 4 funkciju izsaukšanas novērtējumiem autonomiem aģenta uzdevumiem un sauc tos par agrīniem. Tāpēc mūsu sākumlapā ir teikts, ka pieslīpēšana notiek lietotāja datorā, bet nav teikts nekas par aģenta darbību lokāli; platformu lapa fiksē to pašu robežu.

Visi raksti