Compiti diversi, passi temporali diversi: quantizzazione temporale adattata al compito per i modelli linguistici a diffusione

Abstract degli autori

I modelli linguistici a diffusione (DLM) pongono sfide particolari alla quantizzazione per via del loro processo iterativo di denoising. In questo lavoro mostriamo che la sensibilità alla quantizzazione dipende sia dal compito sia dal tempo: compiti a valle diversi richiedono livelli di precisione differenti nei vari passaggi di denoising. Mostriamo inoltre che questi schemi possono essere previsti senza etichette di riferimento né metriche di valutazione specifiche per il compito. Sulla base di questi risultati, presentiamo T 2Quant, un framework di quantizzazione a precisione mista che tiene conto del compito e del tempo e usa un segnale di sensibilità che non richiede etichette per distribuire in modo ottimale la precisione delle attivazioni tra i passaggi di denoising, rispettando un budget fisso di larghezza in bit. Esperimenti approfonditi su tre DLM e sei benchmark mostrano che T 2Quant migliora sistematicamente l’accuratezza media dei metodi di quantizzazione esistenti, con incrementi fino a 6,7 punti percentuali a parità di budget.