HyCo: generazione ibrida delle proposte per una decodifica speculativa efficiente nei costi tra dispositivo mobile e cloud

Abstract degli autori

La decodifica speculativa tra dispositivo e cloud riduce il calcolo sul server, ma costruire un albero profondo di proposte con un piccolo modello linguistico (SLM) richiede ripetute esecuzioni su un’unità di elaborazione neurale (NPU) mobile. Presentiamo HyCo, che affida la profondità dell’albero alla testa nativa di previsione di più token (MTP) del modello sul server, eseguita sul dispositivo, e i rami alternativi a una sola esecuzione dell’SLM. Il server restituisce lo stato nascosto, l’embedding di input e le voci chiave-valore necessari alla testa, anziché eseguirne i passaggi sequenziali. La quantizzazione, un vocabolario limitato e una finestra di 1K token consentono a entrambi i modelli proponenti di funzionare sulla NPU. Una regola basata su una soglia ε allenta inoltre il vincolo di preservare esattamente la distribuzione di campionamento del modello di verifica. In prove con un solo client condotte con un Galaxy S26 Ultra su LTE/5G, HyCo riduce il tempo di GPU sul server per token generato, rispetto all’autospeculazione MTP sul server, del 38,6% su Spec-Bench e del 29,2% nella sintesi da 32K token. Con la stessa regola di accettazione, tre esecuzioni di Spec-Bench per sistema mostrano un risparmio superiore di 9,0 punti percentuali e una velocità di erogazione 1,9 volte maggiore rispetto a un modello proponente basato solo su SLM. Il punteggio assegnato dal giudice a HyCo differisce da quello di Cloud+MTP di +0,2 punti (intervallo di confidenza appaiato al 95%: da -0,9 a +1,3); la traduzione esplorativa favorisce SpecEdge-ε. Senza questo allentamento, HyCo exact consente risparmi del 27,7% e dell’11,9% sui due dataset.