Blogi

Oletuksena paikallinen, pilvi varalla: miten Cuen viimeistelyvaihe päätyi käyttäjän koneelle

Cuen sanelun viimeistelyvaihe suunniteltiin pilvipohjaiseksi, ja paikallinen käsittely oli varavaihtoehto. 227 näytteen benchmark käänsi tämän päinvastaiseksi. Mitä tapaustutkimus kertoo päätöksestä.

Julkaistu

Cuen sanelussa on viimeistelyvaihe: raaka litterointi täytesanoineen ja puuttuvine välimerkkeineen muutetaan tekstiksi, joka vastaa puhujan tarkoitusta. Päätös siitä, missä tämä vaihe suoritetaan, perustui mittaukseen, ja mittaus on julkinen. Tämä kirjoitus seuraa Google DeepMindin tapaustutkimusta, jonka luvut ovat toukokuulta 2026, eikä lisää mitään, mitä sivulla ei mainita.

Alkuperäinen suunnitelma

Vaihe rakennettiin käyttämään pilvimallia, ja paikallinen malli oli varavaihtoehto. Oletuksena oli, että suurempi malli viimeistelisi tekstin tarkemmin. Tiimin ilmoittama tavoite vaiheelle oli teksti, joka kuulostaa käyttäjältä eikä mallilta: välimerkit palautettuna, lauseet jäsenneltynä ja täytesanat poistettuna ilman, että pakotetaan tiettyä tyyliä.

Mittaus

Tiimi suoritti vaiheelle benchmark-testin 227 aidolla puhenäytteellä, jotka kattoivat englantia, muita kieliä ja monikielistä syötettä. Tämän benchmarkin perusteella ensisijaiseksi malliksi valittiin Gemma 4 E4B, jota ajettiin paikallisesti Ollaman kautta Apple Siliconilla. Viimeistelyvaiheen mediaaniviive laski 876 ms:stä 488 ms:iin, minkä sivu kuvaa olevan tiimin asettaman budjetin sisällä vaiheelle, jonka on tunnuttava kirjoittamista nopeammalta.

Käänne

Benchmarkin jälkeen arkkitehtuuri käännettiin päinvastaiseksi: paikallisesta mallista tuli oletus ja pilvimallista varavaihtoehto. Työpöytäsovellus tarkistaa käynnistyessään, onko Ollama käynnissä; jos ei ole, viimeistelyvaihe ohjataan pilvimalliin ja sanelu jatkuu.

Mitä muuttui käyttäjille sivun mukaan

  • Käyttäjäkohtainen sanelun määrä kasvoi noin 30 prosenttia aktiivisten beetakäyttäjien keskuudessa neljän viikon aikana ennen ja jälkeen muutoksen; käyttäjät, jotka olivat sanelleet lyhyitä viestejä, alkoivat sanella pidempiä.
  • Vaiheen marginaalinen päättelykustannus putosi nollaan, ja sivulla kerrotaan tämän olevan syy siihen, miksi sanelu on rajoittamaton kaikilla tasoilla, myös ilmaisella.

Väitteen rajaus

Vain viimeistelyvaihe siirrettiin. Litteroinnin tekee pilvipohjainen puheentunnistuspalvelu ennen viimeistelyvaihetta, ja Cuen agenttitila perustuu pilvimalliin. Sivu raportoi Gemma 4:n funktiokutsujen varhaisista arvioinneista itsenäisissä agenttitehtävissä ja kutsuu niitä varhaisiksi. Etusivullamme sanotaan siksi, että viimeistely suoritetaan käyttäjän koneella, mutta ei sanota mitään agentin paikallisesta suorittamisesta; alustasivulla on sama rajaus.

Kaikki kirjoitukset