ShellElastic: preaddestramento elastico scalabile con aggiornamenti massimali simultanei e trasferimento degli iperparametri

Abstract degli autori

I modelli fondazionali devono supportare diversi budget di inferenza, ma addestrare un modello separato per ciascun budget significa ripetere il lavoro di preaddestramento. I modelli elastici addestrano diverse sottoreti annidate all’interno di una superrete che condivide i pesi, ma gli approcci esistenti incontrano tre ostacoli: carichi di lavoro variabili da un passo all’altro, che complicano la scalabilità distribuita; un trasferimento limitato degli iperparametri (HP) tra modelli di dimensioni diverse; e l’assenza di garanzie che tutte le sottoreti ricevano contemporaneamente aggiornamenti massimali. Presentiamo \Ours, un transformer elastico che organizza le dimensioni nascoste in un nucleo denso e gusci successivi, così che ogni matrice nascosta sia triangolare inferiore a blocchi. Un unico passaggio forward a larghezza piena contiene, come prefissi, gli stati nascosti esatti di ogni sottorete: l’addestramento congiunto mantiene quindi fisso il grafo computazionale e ha, per ogni passo, un costo all’incirca pari all’addestramento della sola sottorete più ampia. Introduciamo inoltre \muE, un’estensione della parametrizzazione dell’aggiornamento massimale (\mup) a \Ours e ad altre architetture elastiche. Le sue regole di scalatura garantiscono, in modo dimostrabile, che tutte le sottoreti di una superrete ricevano simultaneamente aggiornamenti massimali (\muI), anche quando la superrete viene ampliata o le vengono aggiunti altri gusci; le esplorazioni sistematiche confermano che gli HP ottimizzati su un piccolo modello proxy non elastico restano prossimi all’ottimo per famiglie di modelli elastici e superreti più grandi (\mbox{\muT}). Una singola esecuzione di \Ours produce sottoreti che, a parità di numero di parametri, superano MatFormer e le baseline completamente elastiche, e si avvicinano a modelli addestrati separatamente che, nel complesso, richiedono un numero di passi diverse volte superiore.