La profondità adattiva è una fase conclusiva

Abstract degli autori

I transformer con cicli riutilizzano più volte lo stesso strato, consentendo di regolare il calcolo in inferenza senza modificare il modello. I recenti metodi di profondità adattiva addestrano il modello su più profondità del ciclo fin dall’inizio dell’addestramento. Introduciamo l’addestramento fixed-first, che varia la profondità del modello solo durante una breve fase finale dell’addestramento. Con 200M di parametri, addestrare un modello a profondità fissa 2 per il primo 67% dell’addestramento riduce del 45% il calcolo di addestramento stimato, mantenendo la log-verosimiglianza negativa media (NLL) alle diverse profondità di inferenza entro lo 0,5% rispetto all’addestramento su tutte le profondità per l’intera durata. Con 1B di parametri, iniziare l’addestramento alla profondità 4 riduce il calcolo stimato dal 31% al 37% e il tempo di esecuzione dal 32% al 39%, mantenendo la NLL finale entro lo 0,8% e le differenze nelle valutazioni downstream entro la variabilità osservata tra i seed. Questi risultati mostrano che l’addestramento sull’intero intervallo di profondità può essere riservato a una breve fase conclusiva, con variazioni minime nelle prestazioni.