ALoDLM: modelli linguistici a diffusione con cicli adattivi

Abstract degli autori

I modelli linguistici a diffusione (DLM) consentono di generare testo rapidamente prevedendo più token in parallelo, ma la loro adozione pratica resta limitata da un persistente divario di qualità rispetto a modelli autoregressivi (AR) di dimensioni comparabili. Attribuiamo questo divario a uno squilibrio tra calcolo e difficoltà: in una sequenza parzialmente osservata, alcuni token sconosciuti sono facili da prevedere, mentre altri richiedono molto più calcolo. I DLM esistenti, tuttavia, applicano la stessa profondità di calcolo a tutte le posizioni sconosciute in ogni passaggio di rimozione del rumore. Presentiamo ALoDLM, che sostituisce il calcolo uniforme con una ricorrenza latente adattata a ciascun token. A ogni passaggio di rimozione del rumore, ALoDLM affina iterativamente le rappresentazioni latenti e assegna il calcolo in base alla difficoltà dei token. I token pronti per essere fissati vengono reinseriti come contesto discreto, mentre quelli non ancora risolti conservano i propri stati latenti e li affinano ulteriormente attraverso passaggi ricorrenti aggiuntivi. Per apprendere congiuntamente la previsione dei token e l’assegnazione del calcolo, formuliamo i programmi di calcolo per ciascun token come variabili latenti e deriviamo un limite inferiore negativo condizionale dell’evidenza (NELBO). Addestriamo ALoDLM su scale di 1,7 miliardi e 8 miliardi di parametri. Su 11 benchmark, ALoDLM supera tutti i DLM valutati e i corrispondenti modelli di riferimento AR nel punteggio medio dei benchmark a entrambe le scale. ALoDLM conserva inoltre la rapidità della decodifica parallela, offrendo un buon compromesso tra qualità ed efficienza rispetto ai modelli autoregressivi e a diffusione valutati con motori di inferenza ottimizzati.