Ogni peso è un percorso di decisioni discrete condivise

Abstract degli autori

Presentiamo TWIG (Tree-structured Weights with Inherited Gates), una rappresentazione in cui ogni peso di una rete neurale si trova al termine di un percorso di piccole decisioni discrete: un segno, uno spostamento pari a una potenza di due, un gate che azzera il peso, un indice in una tabella condivisa. I pesi che appartengono allo stesso gruppo condividono la parte iniziale dei loro percorsi e ogni decisione viene ereditata da tutti i pesi che si trovano più in basso, perciò viene memorizzata una sola volta e applicata una sola volta. Questo semplice cambiamento ha tre conseguenze. Qualsiasi rete addestrata può essere rappresentata come un TWIG e, quando le decisioni sono potenze di due, i suoi livelli di pesi diventano circuiti composti quasi interamente da collegamenti e sommatori, adatti a chip i cui pesi sono fissati in fase di fabbricazione. Pruning, quantizzazione, fattorizzazione a basso rango, codebook e condivisione dei pesi diventano modifiche dello stesso oggetto, così un unico ottimizzatore può scegliere tra tutte queste tecniche per un’intera rete. Infine, scegliere le decisioni equivale a risolvere il problema dello stato fondamentale di una macchina di Boltzmann di ordine superiore, le cui interazioni seguono i percorsi dell’albero: la classe di problemi per cui sono progettati gli annealer e gli ottimizzatori quantistici. Oggi queste questioni vengono affrontate separatamente: ogni metodo di compressione ha un proprio formato e un proprio risolutore, un circuito con pesi fissi richiede un moltiplicatore dedicato per una costante per ogni peso e i risolutori discreti riescono ad affrontare solo sottoproblemi circoscritti, come l’arrotondamento. Da tempo i formati dei pesi si stanno orientando verso decisioni condivise, attraverso scale di gruppo, esponenti condivisi, microesponenti e pesi sparsi; TWIG porta questa tendenza alle sue estreme conseguenze e ogni formato comune è un TWIG poco profondo, senza costi aggiuntivi. Su cinque matrici di pesi di un modello linguistico di grandi dimensioni, un albero piatto i cui termini con segno, espressi come potenze di due, sono scelti per ciascun peso in base al costo circuitale, senza scale di gruppo, richiede il 9--15\% di addizioni in meno rispetto a GPTQ, a parità di errore del livello e con precisione a 3 e 4 bit, nelle matrici tipiche, e il 20--55\% in meno nelle matrici con valori anomali marcati.