Modelli linguistici basati su mappe di flusso asincrone

Abstract degli autori

L’ordine in cui i token vengono previsti nella modellazione linguistica ha un impatto profondo sulla qualità delle sequenze generate. I modelli autoregressivi e quelli a diffusione mascherata riempiono iterativamente i token e possono sfruttare questi ordinamenti nelle diverse fasi di generazione; non è però chiaro come sfruttare un ordinamento nella modellazione linguistica parallela in un solo passaggio. Introduciamo i modelli linguistici a mappa di flusso asincrona (aFMLMs), che integrano l’ordine di predizione nella modellazione in un solo passaggio apprendendo le mappe di flusso dei flussi asincroni. Questi flussi definiscono un ordinamento tramite una pianificazione temporale token per token, che controlla il progresso relativo della rimozione del rumore nei token. Formuliamo una classe generale di flussi asincroni che ammettono pianificazioni sia predefinite sia apprese e adattive allo stato, dimostriamo che definiscono mappe di flusso valide e sviluppiamo nuovi metodi per distillare tali mappe. I modelli risultanti possono generare tutti i token in un singolo passaggio in avanti, incorporando nei propri calcoli interni l’ordinamento codificato nel flusso. Nella risoluzione dei Sudoku e nella generazione di codice per i problemi matematici formulati a parole di GSM8K, aFMLM ottiene prestazioni in un solo passaggio che fissano un nuovo stato dell’arte.