HyperThink: hypernetwork da testo a parametri per un ragionamento efficiente

Abstract degli autori

Le lunghe tracce di ragionamento possono migliorare notevolmente le prestazioni dei modelli linguistici di grandi dimensioni (LLM) nei ragionamenti a più passaggi, ma comportano un elevato costo computazionale durante l’inferenza, con tempi dominati dalla decodifica sequenziale. Proponiamo HyperThink, un approccio da testo a parametri che ammortizza il calcolo necessario al ragionamento mediante un unico aggiornamento dei parametri condizionato dalla domanda: una hypernetwork leggera legge la domanda e prevede aggiornamenti per un piccolo sottoinsieme dei parametri dell’LLM di base, mentre un decoder a quantizzazione vettoriale li vincola a un insieme finito di schemi riutilizzabili, per migliorare robustezza e trasferibilità. Addestrato end-to-end sugli output del modello di base stesso, HyperThink elimina le lunghe tracce di ragionamento durante il test: dopo un solo passaggio della hypernetwork, il modello adattato genera una soluzione concisa passo dopo passo e la risposta finale senza una traccia intermedia, usando molti meno token e mantenendo prestazioni elevate nel ragionamento. Nei test empirici, HyperThink migliora il compromesso tra accuratezza e latenza nella regione a bassa latenza, in compiti di ragionamento matematico e generale, con i maggiori miglioramenti nel regime prossimo all’assenza di ragionamento.