Svelare lo stato: quando conta l’adattamento allo stato nei modelli linguistici a diffusione con mascheramento

Abstract degli autori

I modelli linguistici a diffusione con mascheramento (MDM) consentono di generare il testo in ordini flessibili: la strategia con cui si rimuovono le maschere diventa quindi una decisione da prendere durante l’inferenza. I metodi esistenti differiscono nel modo in cui danno priorità alle posizioni, controllano il parallelismo, limitano le regioni di selezione, rivedono le predizioni o pianificano la futura rimozione del rumore. Resta però poco chiaro quando queste scelte debbano cambiare nel corso della generazione. Studiamo la questione attraverso le inversioni di preferenza tra strategie, ossia i casi in cui un’azione alternativa diventa preferibile a una scelta fissa. Organizziamo l’inferenza degli MDM lungo cinque assi — punteggio, cardinalità, regione, conferma e pianificazione — e definiamo l’opportunità di adattamento come il vantaggio, in termini di utilità a un singolo passaggio, della migliore azione candidata rispetto a un’azione fissa selezionata in fase di validazione. Questa prospettiva mostra che il valore dell’adattamento dipende sia dalla frequenza sia dall’entità di tali inversioni. Su tre MDM e dieci compiti, le opportunità di adattamento sono molto eterogenee: in alcune condizioni, i guadagni a un singolo passaggio sono concentrati e prevedibili. Ciò motiva un adattamento selettivo: rilevatori leggeri, calibrati su prompt di validazione, individuano gli stati con maggiori opportunità, cogliendo, per esempio, il 56,9% dell’opportunità individuata dall’oracolo nell’insieme delle azioni candidate adattando soltanto il 10% degli stati con maggiori opportunità nel completamento vincolato di JSON con LLaDA-8B. I nostri risultati a livello di transizione suggeriscono che l’adattamento allo stato è più utile se applicato selettivamente anziché in modo uniforme.