Che cosa conta nell’addestramento in NVFP4? Uno studio comparativo delle strategie di preaddestramento a bassa precisione

Abstract degli autori

Addestrare i modelli linguistici di grandi dimensioni direttamente con formati a virgola mobile (FP) a 4 bit promette notevoli miglioramenti nella capacità di elaborazione e nell’efficienza energetica. Sebbene alcune scelte nella definizione delle strategie di addestramento siano state convalidate su larga scala, molti approcci promettenti non sono ancora stati testati oltre i modelli piccoli e gli orizzonti di addestramento limitati in termini di token. Resta quindi da capire quali tendenze si confermeranno. Presentiamo un confronto sistematico tra recenti strategie di addestramento in NVFP4 su modelli di dimensioni intermedie: valutiamo un modello denso 8B e un modello MoE 30B-A3B, addestrati su un massimo di 1T token, concentrandoci sugli elementi necessari per recuperare l’accuratezza. Proponiamo una strategia finale fondata sui principi alla base delle procedure consolidate per un addestramento stabile in NVFP4 su larga scala, che integra tecniche allo stato dell’arte, come la stima non distorta del gradiente con un errore di quantizzazione inferiore a quello dell’arrotondamento stocastico. Per quanto ne sappiamo, è il miglior risultato finora dimostrato a questa scala nell’addestramento in FP4 in termini di divario nella loss rispetto a BF16. Attraverso studi di ablazione, rileviamo che: (i) ciascuna tecnica della strategia ottimizzata migliora in modo misurabile l’andamento della loss, (ii) l’impiego selettivo di livelli ad alta precisione è necessario per recuperare l’accuratezza su larga scala, (iii) non tutti i tensori nel passaggio all’indietro traggono lo stesso beneficio dalla correzione della distorsione, lasciando spazio all’applicazione di tecniche complementari di riduzione dell’errore ai tensori rimanenti.