Mitigare il collasso dei modelli con Dreaming Learning

Abstract degli autori

Addestrare modelli generativi su dati sintetici provoca una perdita di diversità e un calo delle prestazioni, un fenomeno noto come collasso del modello. Studiamo questa degenerazione dal punto di vista spettrale in un contesto markoviano controllato. Lo spettro degli autovalori dell’operatore di transizione appreso offre una visione diretta del processo: gli autovalori subdominanti determinano la velocità con cui la catena si mescola e, quindi, quanta parte dello spazio degli stati continua a esplorare. Osserviamo che il campionamento a una temperatura $T_s < 1$ agisce sull’operatore come un’accentuazione ripetuta, spingendolo verso un sistema deterministico: gli autovalori subdominanti si avvicinano alla circonferenza unitaria e il divario spettrale si restringe. Quando $T_s < 1$, neppure l’accumulo di dati sembra arrestare questa deriva. Analizziamo quindi Dreaming Learning, un metodo di regolarizzazione che, parallelamente al normale addestramento, aggiunge un termine di perdita calcolato sui campioni prodotti dal modello stesso a una temperatura più elevata, $T_d > 1$. Poiché i campioni ottenuti ad alta temperatura appiattiscono la distribuzione prevista, l’addestramento su questi campioni impedisce che gli elementi dell’operatore appreso diventino prossimi a zero; questo, a sua volta, mantiene gli autovalori a una distanza minima dalla circonferenza unitaria. Le misurazioni degli spettri nell’arco di 5000 generazioni sono coerenti con questo quadro e l’effetto di mitigazione persiste in contesti più complessi, come i modelli linguistici LSTM e un GPT-2 da 124 milioni di parametri.