Un modello per farli iterare tutti: ricorrenza latente elastica per i modelli linguistici

Abstract degli autori

Un modello linguistico a ricorrenza latente applica ripetutamente uno stesso blocco di livelli: un unico checkpoint può così scambiare più calcolo in inferenza con una maggiore accuratezza, variando il numero di cicli. Con un solo ciclo, però, questi modelli ottengono in genere risultati nettamente inferiori a quelli di un modello non ricorrente delle stesse dimensioni. È una penalità che rende preferibile un modello non ricorrente separato ogni volta che la latenza conta. Presentiamo Elastic Latent Recurrence (ELR), un metodo per addestrare modelli linguistici a cicli senza questa penalità. Con un solo ciclo, un modello ELR ha lo stesso costo di erogazione di un modello non ricorrente delle stesse dimensioni e, se addestrato sugli stessi dati, raggiunge un’accuratezza simile. Ogni ciclo aggiuntivo offre poi più accuratezza in cambio di più calcolo in inferenza. Il metodo si basa su tre scelte: un aggiornamento dello stato regolato da un meccanismo di gating, con un’ampiezza del passo appresa; numeri di cicli diversi combinati in ogni aggiornamento dell’ottimizzatore; e il condizionamento di ogni passaggio in base all’indice del ciclo e al budget. Le prime due preservano l’accuratezza con un solo ciclo, mentre la terza riduce la perdita a ogni ciclo aggiuntivo. Le profondità miste possono essere introdotte nelle fasi avanzate del preaddestramento per limitare il costo aggiuntivo dell’addestramento. Se al momento del passaggio si aggiunge un condizionamento inizializzato a zero, questa introduzione tardiva raggiunge una perdita inferiore rispetto all’addestramento a profondità miste fin dall’inizio. Nei modelli MoE, riutilizzare nei cicli successivi gli instradamenti verso gli esperti del primo ciclo riduce dell’11,7% il tempo degli aggiornamenti a profondità miste, senza variazioni misurabili dell’accuratezza. In inferenza, conservare soltanto la cache KV dell’attenzione dell’ultimo ciclo mantiene la memoria KV dell’attenzione al livello richiesto da un solo ciclo, preservando gran parte del guadagno ottenuto con i cicli aggiuntivi. Su un modello denso 4B e un modello ibrido MoE 30B-A3B, con un solo ciclo ELR si colloca rispettivamente 0,52 punti sotto e 1,04 punti sopra le corrispondenti baseline, nella media di dieci compiti; quattro cicli aggiungono rispettivamente 7,25 e 4,75 punti. Applicato anche al post-training, il metodo produce Koi-4B, un unico checkpoint che ottiene un punteggio stimato di 18 nell’Artificial Analysis Intelligence Index con un solo ciclo, eguagliando Qwen3.5-4B, e di 29 con quattro cicli.