Next-Concept Modeling: generazione di testo parallela e rapida, dal livello grossolano a quello fine

Abstract degli autori

I modelli linguistici a diffusione (DLM) consentono un campionamento parallelo e una generazione più rapida rispetto ai modelli autoregressivi, un vantaggio sempre più importante man mano che l’inferenza diventa un carico di lavoro computazionale dominante. Tuttavia, le prestazioni dei DLM peggiorano rapidamente quando si riduce il numero di passaggi di campionamento, a ogni passaggio viene elaborata l’intera sequenza e sono necessari numerosi passaggi sul dataset per raggiungere una buona qualità. Presentiamo Next-Concept Modeling (NCM), un framework in due fasi, dal grossolano al fine: un VQ-VAE residuo multiscala codifica il testo in una gerarchia di codici discreti e un transformer genera un livello alla volta, prevedendo in parallelo tutti i codici di ciascun livello. A parità di scala dei parametri, NCM ottiene una perplexity generativa migliore rispetto al più forte modello DLM di riferimento su LM1B, ed è $21\times$ più veloce. Su OpenWebText, NCM è competitivo con il più forte modello DLM ed è $10\times$ più veloce; su XSum, eguaglia il ROUGE-L del più forte modello DLM ed è $31\times$ più veloce. Nel compito di ragionamento del Sudoku, NCM supera i modelli di riferimento autoregressivi e a diffusione a tutti i livelli di difficoltà, con un numero inferiore di valutazioni della funzione. Nel compito di ragionamento del Sudoku, NCM supera i modelli di riferimento autoregressivi e a diffusione a tutti i livelli di difficoltà, con un numero inferiore di valutazioni della funzione.