Modulazione dinamica dell’attenzione posizionale per il fine-tuning dei modelli linguistici di grandi dimensioni con un uso efficiente dei parametri

Abstract degli autori

Il fine-tuning efficiente in termini di parametri (PEFT) è diventato un approccio standard per adattare i modelli linguistici di grandi dimensioni ai compiti a valle. Tuttavia, la maggior parte dei metodi PEFT esistenti si basa su adattamenti uniformi e statici, senza tenere conto dell’eterogeneità strutturata dell’attenzione tra dimensioni, teste, livelli e token di input. In pratica, le rappresentazioni dell’attenzione mostrano comportamenti non uniformi e i meccanismi di codifica posizionale, come gli embedding posizionali rotatori (RoPE), introducono una struttura posizionale che dipende dalla dimensione, rendendo non ottimale un adattamento uniforme. In questo lavoro proponiamo DyPAM (Dynamic Positional Attention Modulation), un metodo PEFT che adatta il contributo dell’informazione posizionale all’attenzione intervenendo direttamente sulle rappresentazioni delle query e delle chiavi. DyPAM combina una modulazione per dimensione condizionata dall’input con una modulazione strutturale per testa e per livello, realizzando un adattamento granulare dell’attenzione posizionale in linea con la struttura indotta da RoPE, senza modificare il modello di base preaddestrato. Ampi esperimenti su benchmark di ragionamento matematico e di senso comune, condotti con diversi modelli di base, dimostrano che DyPAM supera sistematicamente solidi metodi PEFT di riferimento.