Modelli linguistici a flusso di grandi dimensioni

Abstract degli autori

I modelli linguistici a flusso continuo offrono una via alla generazione parallela, con strumenti di controllo e accelerazione non disponibili per la diffusione discreta. Le tecniche efficaci per costruirli su una scala di miliardi di parametri, però, sono ancora meno consolidate. Presentiamo Lafa (Large flow language model), un modello linguistico a flusso rapido e dalle prestazioni elevate, portato a 8 miliardi di parametri con un uso efficiente dei dati. Lafa è un modello a flusso per blocchi, con attenzione causale sul prefisso e un flusso bidirezionale asincrono all’interno di ciascun blocco. Questa architettura consente un addestramento efficiente adattando modelli autoregressivi (AR) preaddestrati e un’inferenza rapida grazie alla memorizzazione del prefisso nella cache e alla decodifica parallela per blocchi. Addestriamo Lafa in versioni da 0,5, 7 e 8 miliardi di parametri con meno di 30 miliardi di token, in modo più efficiente rispetto ai precedenti modelli di diffusione. Lo valutiamo poi sulla capacità di seguire istruzioni, sul ragionamento e sulla programmazione: in questi ambiti, il flusso appreso eguaglia o supera la qualità dei modelli AR e può essere distillato in mappe di flusso per la generazione in uno o pochi passaggi. In particolare, l’addestramento del flusso preserva o persino migliora le capacità dei modelli AR preaddestrati grazie a un effetto di predizione di più token. Sfruttiamo questo effetto in uno schema di decodifica auto-speculativa che verifica in modo autoregressivo, all’interno di un unico modello, le bozze generate tramite il flusso. Otteniamo così un throughput pari a 2,54 volte quello di un modello AR, a parità di qualità, superando i metodi basati sulla predizione di più token e sulla diffusione discreta. I nostri risultati mostrano che i flussi continui possono costituire una base scalabile per la modellazione linguistica.