Che cosa rende efficace una strategia di rimozione delle maschere? Uno studio controllato sulla rimozione delle maschere appresa nei modelli linguistici a diffusione

Abstract degli autori

I modelli linguistici a diffusione con mascheramento generano token in parallelo, ma la loro efficienza dipende da quali predizioni vengono confermate. Le strategie apprese per rimuovere le maschere migliorano il compromesso tra velocità e accuratezza, ma differiscono per supervisione, input e capacità, rendendo difficile capire quali scelte contino. Consideriamo le strategie supervisionate come una distillazione di una procedura di decodifica attraverso un modello insegnante ed esaminiamo separatamente quali predizioni questo etichetta come confermabili, su quali stati la strategia lo imita, che cosa osserva la strategia e di quanto debba diminuire il numero di valutazioni della funzione (NFE) per compensare il costo aggiuntivo della strategia. Troviamo che etichettare come confermabili le predizioni che corrispondono all’output finale è eccessivamente permissivo a valori bassi di NFE e che gli stati nascosti, pur essendo poco efficaci da soli, possono integrare i valori di confidenza. Nei contesti testati, una riduzione di NFE di circa il 10% è sufficiente a compensare il costo aggiuntivo di strategie fino a 7,5M parametri. Addestriamo quindi, usando valori di confidenza e stati nascosti, una strategia su obiettivi di contrazione della traiettoria, che ammettono soltanto conferme che restano su una traiettoria di riferimento. Su LLaDA-8B-Instruct, la strategia risultante, con 856K parametri, raggiunge la migliore frontiera tra accuratezza e NFE e il throughput più elevato su GSM8K, è competitiva per obiettivi moderati su MATH-500 e HumanEval e si trasferisce in larga misura a Dream-7B-Instruct.