Troncare o non troncare? Uno studio delle leggi di scala dei transformer a cicli con retropropagazione troncata

Abstract degli autori

I transformer a cicli riutilizzano un blocco di strati condiviso per aumentare la profondità computazionale senza aumentare il numero di parametri addestrabili. Vengono addestrati con la retropropagazione nel tempo (BPTT). Per ridurre il calcolo necessario all’addestramento, la BPTT viene spesso limitata agli ultimi cicli, ma questo troncamento produce gradienti distorti che possono attenuare i benefici della ripetizione dei cicli. In questo lavoro studiamo sistematicamente l’utilità del troncamento nell’addestramento dei transformer a cicli: variamo congiuntamente le dimensioni del modello, i token di addestramento e il numero di cicli nei passaggi in avanti e all’indietro in quasi 600 addestramenti, e adattiamo ai dati una legge di scala unificata che descrive gli effetti dei cicli e del troncamento attraverso parametri effettivi. Nonostante il risparmio di calcolo ottenuto durante l’addestramento, la legge stimata favorisce la BPTT completa quando il numero di cicli nei passaggi in avanti e all’indietro viene ottimizzato congiuntamente. A parità di calcolo, la BPTT completa su un numero minore di cicli ottiene sistematicamente risultati migliori rispetto alle configurazioni troncate. La legge mostra inoltre che, a parità di dimensioni del modello, sia il numero di cicli ottimale in termini di calcolo sia il budget di token di addestramento crescono all’aumentare del calcolo disponibile. Quando anche le dimensioni del modello possono variare, la legge individua in due cicli addestrati per intero la configurazione migliore tra quelle a cicli. Negli esperimenti, questa configurazione ottiene una perdita di validazione inferiore rispetto al modello senza cicli ottimale in termini di calcolo, con circa il 27% di parametri non legati agli embedding in meno e solo l’8% di calcolo in più per l’addestramento.