The Pulse
I ricercatori della CMU ripensano l’addestramento dei modelli fondativi come un unico algoritmo
Uno studio propone di usare un’unica regola di addestramento basata sulla verosimiglianza in diverse fasi di addestramento dei modelli fondativi, variando nel tempo la composizione dei dati. Gli esperimenti hanno rilevato compromessi tra pr
AI.info Team · Scritto con l’IA · verificato ·
Un risultato del 58,47% dopo un secondo compito di addestramento
Un modello addestrato con una miscela di dati al 5% ha raggiunto il 58,47% su MBPP+ pass@16 dopo l’apprendimento per rinforzo sulla programmazione, rispetto al 52,12% del modello di riferimento dello studio, addestrato per fasi. Il risultato proviene da uno studio su come l’addestramento precedente influisca sull’adattamento successivo, non da un test su un grande modello commerciale. I ricercatori hanno prima addestrato un modello da 0,76 miliardi di parametri sulla matematica, poi hanno applicato ai modelli confrontati la stessa procedura di apprendimento per rinforzo sulla programmazione per 4.000 aggiornamenti.
Pass@16 stima se almeno una delle 16 risposte campionate risolve un problema; lo studio ha valutato 378 problemi di MBPP+. Il modello al 5% ha ottenuto anche il 46,95% su HumanEval+ pass@16, contro il 45,12% del modello addestrato per fasi. Questi valori mostrano un vantaggio in questo esperimento, ma lo studio non sostiene che un’unica percentuale di miscelazione sia adatta ad altri modelli o compiti.
Un’unica funzione di perdita basata sulla verosimiglianza, dati variabili
Yuda Song, Alvin Zhang, Fahim Tajwar e i loro coautori sostengono che preaddestramento, addestramento intermedio, fine-tuning supervisionato e alcuni obiettivi di apprendimento per rinforzo possano condividere una regola di addestramento basata sulla massima verosimiglianza. La loro proposta, che chiamano addestramento unificato, considera il processo di addestramento come una miscela variabile di esempi fissi e risposte generate dal modello, anziché come un passaggio tra algoritmi distinti.
«Derivando obiettivi di apprendimento per rinforzo adatti come adattamento mediante massima verosimiglianza a distribuzioni bersaglio generate dal modello, riuniamo tutte queste fasi sotto un unico algoritmo di addestramento basato sulla verosimiglianza, l’addestramento unificato».
Yuda Song, Alvin Zhang, Fahim Tajwar e coautori, ricercatori e autori di «Training Foundation Models with a Single Algorithm»
Nel quadro proposto, ogni fonte di dati può ricevere un peso diverso man mano che l’addestramento procede. Per l’apprendimento per rinforzo con ricompense binarie, la distribuzione bersaglio può essere costruita a partire dalle risposte generate che hanno avuto successo; testi statici e dimostrazioni rientrano nello stesso obiettivo basato sulla verosimiglianza. La precisazione è importante: gli autori circoscrivono il risultato a obiettivi di apprendimento per rinforzo adatti, non a ogni possibile metodo di apprendimento per rinforzo.
Un test controllato favorisce la miscelazione con alcuni budget di calcolo
Lo studio controllato del paper addestra da zero un modello da 124 milioni di parametri, usando un corpus fisso di preaddestramento da 20 miliardi di token e un corpus di addestramento intermedio da 510 milioni di token. L’addestramento per fasi usa i corpus in sequenza prima dell’apprendimento per rinforzo; l’addestramento unificato introduce i dati di addestramento intermedio verso la fine del preaddestramento e continua a mescolarli durante l’apprendimento per rinforzo. I ricercatori testano i modelli su rompicapi logici, inclusi rompicapi più grandi esclusi sia dall’addestramento intermedio sia dall’apprendimento per rinforzo.
Quando confrontano i checkpoint a parità di calcolo complessivo, il risultato varia in base al budget e alla metrica. L’addestramento per fasi è in testa per accuratezza con budget intermedi, mentre quello unificato raggiunge un’accuratezza superiore con i budget maggiori e ottiene risultati particolarmente buoni nel test di generalizzazione sui rompicapi più grandi. L’addestramento per fasi rimane competitivo per copertura sui rompicapi compresi nell’intervallo testato, quindi i risultati non indicano una vittoria universale per un’unica ricetta.
Lo studio lascia irrisolta la sequenza di utilizzo dei dati
Gli autori rilevano anche che mescolare dati di addestramento intermedio durante il preaddestramento può contribuire a preservare le capacità generali nei loro esperimenti controllati. Negli esperimenti controllati sui rompicapi di ragionamento, l’aggiunta di testo di preaddestramento durante l’apprendimento per rinforzo ha ridotto la perdita sui dati di preaddestramento esclusi dall’addestramento in tutte e otto le configurazioni, mentre l’accuratezza e la copertura nel ragionamento sono diminuite nella maggior parte dei confronti. La media dei benchmark generali è migliorata in sette delle otto configurazioni, con variazioni inferiori a 0,7 punti percentuali. I risultati indicano compromessi tra accuratezza, copertura e mantenimento delle capacità, anziché una miscela che massimizzi tutti e tre.
La scala è un altro limite. Gli esperimenti si concentrano su modelli da 124 milioni e 0,76 miliardi di parametri e gli autori affermano di non aver stabilito leggi di scala predittive né una sequenza di utilizzo dei dati generalmente preferibile. La maggior parte delle esecuzioni si concentra su un compito di apprendimento per rinforzo alla volta e l’adattamento di un modello fondativo a un nuovo compito applicativo richiede ancora un’altra fase di addestramento. L’affermazione concreta dello studio è più circoscritta: un’unica funzione di perdita può integrare diverse fonti di dati, mentre decidere cosa mescolare e quando rimane un problema progettuale aperto.