Addestrare modelli fondazionali con un solo algoritmo

Abstract degli autori

I modelli fondazionali vengono in genere addestrati in più fasi: pretraining, midtraining, fine-tuning supervisionato (SFT) e reinforcement learning (RL), con cambiamenti sia nei dati sia negli algoritmi di apprendimento. Mostriamo che questa separazione algoritmica non è fondamentale. Derivando obiettivi di RL adeguati come adattamenti di massima verosimiglianza a distribuzioni target generate dal modello, riconduciamo tutte queste fasi a un unico algoritmo di addestramento basato sulla verosimiglianza, chiamato unified training. Questa prospettiva trasforma il ciclo di addestramento dei modelli fondazionali in un problema di scelta dei dati su cui addestrarsi, delle proporzioni da usare e del momento in cui farlo, considerando l’addestramento convenzionale per fasi come un caso particolare. Applichiamo questo quadro in un sistema di unified training che combina dati statici e generazioni di RL all’interno di un unico trainer. In esperimenti controllati e nel mondo reale, unified training migliora il compromesso tra accuratezza e calcolo e la copertura delle attività, preservando al contempo capacità più ampie e offrendo un punto di partenza più solido per l’apprendimento continuo. Questo lavoro getta le basi per una scienza unificata dell’addestramento dei modelli fondazionali, collegando principi matematici, infrastruttura di addestramento e sviluppo delle capacità dei modelli.