La velocità dei modelli linguistici a diffusione varia a seconda dei compiti e delle lingue

Abstract degli autori

I modelli linguistici a diffusione possono scrivere diversi token in un solo passaggio in avanti e decidono durante la generazione quanti passaggi impiegare. Due output della stessa lunghezza in token possono quindi avere costi molto diversi. Per capire da cosa dipenda questa variazione, analizziamo due modelli a diffusione su 10 compiti. Troviamo che il numero di passaggi in avanti per token dipende fortemente dal compito. Copiare testo dall’input o modificarlo solo lievemente costa poco, mentre la scrittura libera è costosa. In DiffusionGemma, generare un token per scrivere una storia richiede più del triplo dei passaggi in avanti necessari per correggere la grammatica. Due caratteristiche dell’output spiegano gran parte di questa differenza: quanto sia nuovo rispetto all’input e quanto siano rare le sue parole nell’ambito del compito. Lo stesso vale all’interno di una singola risposta quando è coinvolto il ragionamento. La risposta finale costa poco quando ripete la traccia di ragionamento del modello, mentre costa molto quando aggiunge qualcosa di nuovo. Nella generazione multilingue, troviamo che le lingue fortemente tokenizzate richiedono anche più passaggi per token, oltre al costo che già comporta il maggior numero di token. Infine, il costo è legato alla correttezza: per lo stesso problema di matematica, le risposte sbagliate richiedono più passaggi per token di quelle corrette, e ponderare le risposte candidate in base alla velocità di decodifica supera il voto di maggioranza fino a 4,2 punti, senza costi aggiuntivi. Nel complesso, i nostri risultati mostrano che il vantaggio computazionale della diffusione dipende da quanto dell’output sia già determinato, mentre lo sforzo di decodifica offre un indicatore pratico per rendere l’inferenza più efficiente e affidabile.