DAGFormer: previsione della topologia globale delle connessioni tra livelli dei transformer

Abstract degli autori

Proponiamo DAGFormer, un modello linguistico basato su transformer le cui connessioni tra livelli sono pianificate da un predittore della topologia addestrato congiuntamente al modello. Oltre alle connessioni residue di un transformer standard, DAGFormer aggiunge connessioni dirette dai livelli precedenti a quelli successivi; il predittore regola l’intensità di ciascuna connessione in base ai token in input. A differenza delle architetture esistenti che definiscono l’instradamento tra livelli, stabilendo separatamente le connessioni di ciascun livello, DAGFormer pianifica l’instradamento dell’intero modello in un’unica volta. Su coppie comparabili di modelli OLMo-2, da 75 milioni a 1 miliardo di parametri, DAGFormer riduce la perplessità su WikiText-2 del 17%-25% rispetto al transformer standard. Un DAGFormer da 1 miliardo di parametri addestrato su 5 miliardi di token supera inoltre il modello standard addestrato su 10 miliardi di token. Nel confronto con quattro modelli di riferimento con instradamento, a parità di dati e risorse, ottiene la perplessità più bassa con 75 milioni, 300 milioni e 1 miliardo di parametri. Il miglioramento si estende a 13 compiti di valutazione su buon senso, scienze, lettura e matematica, con un’accuratezza media superiore di 2,0-2,5 punti per i modelli da 300 milioni e 1 miliardo di parametri, e al fine-tuning su istruzioni, con un tasso di vittoria su AlpacaEval del 63%-70% contro il transformer standard, superiore a quello di tutti i modelli di riferimento con instradamento. Con il pruning strutturato, le prestazioni di DAGFormer calano meno in cinque delle sei configurazioni.