Modelli linguistici a diffusione uniforme con cicli ricorsivi

Abstract degli autori

I modelli linguistici a diffusione uniforme (UDLM) generano testo eliminando iterativamente il rumore da sequenze di token del vocabolario ordinario, ciascuno dei quali può essere alterato e poi rivisto. Durante l’addestramento, gli UDLM devono eliminare il rumore partendo da un contesto che può essere a sua volta inaffidabile, mentre i modelli linguistici a diffusione con mascheramento (MDLM) si basano sempre su un contesto privo di rumore. Questo obiettivo di addestramento impegnativo rende gli UDLM più onerosi degli MDLM in termini di FLOP, ma produce prestazioni superiori nei compiti di ragionamento a valle. Di recente è stato dimostrato che l’applicazione ricorsiva selettiva di alcuni dei primi livelli Transformer in ciascun passaggio di eliminazione del rumore migliora l’efficienza dell’addestramento degli MDLM a parità di budget in FLOP. Studiamo l’applicazione ricorsiva negli UDLM, mantenendo invariati l’obiettivo di addestramento e il metodo di campionamento. Rileviamo che migliora significativamente l’efficienza dell’addestramento: gli UDLM con cicli ricorsivi raggiungono la stessa NLL di validazione di un UDLM senza cicli addestrato su circa 0,5 bilioni di token, usando fino a 2,8 volte meno FLOP di addestramento su OpenWebText e 3,3 volte meno su FineWeb-Edu. Rileviamo inoltre che, a parità di budget NFE, gli UDLM con cicli ricorsivi raggiungono una perplexity in generazione fino al 9,8% più bassa rispetto all’UDLM senza cicli, con la maggior parte dei miglioramenti ottenuta con un numero moderato di cicli. Infine, esaminiamo diverse distribuzioni del numero di cicli e scopriamo che campionare più spesso un numero inferiore di cicli durante l’addestramento migliora l’efficienza in inferenza: nei compiti a valle, questa strategia impiega il 12% di cicli in meno rispetto al campionamento uniforme del numero di cicli, senza ridurre l’accuratezza.