Non tutti i ranghi sono uguali: fusione di LoRA tra compiti in funzione del budget

Abstract degli autori

La fusione degli adattatori a basso rango (LoRA) promette di eliminare il sovraccarico dovuto alla sostituzione dei pesi specifici per ciascun compito durante l’inferenza. Tuttavia, i metodi di fusione esistenti presumono che ogni livello richieda lo stesso budget di rango. Alcuni presumono inoltre che tale budget debba essere suddiviso equamente anche tra i compiti. Mostriamo che questa ipotesi di uniformità è una delle principali cause del divario di prestazioni tra le LoRA fuse e quelle specifiche per ciascun compito. La selezione del rango, però, è un problema NP-difficile. A questo scopo introduciamo Net Utility, una metrica che non richiede dati: prima scompone la LoRA di ogni compito mediante la decomposizione ai valori singolari (SVD), poi assegna a ciascuna direzione singolare un punteggio in base alla sua utilità per il compito e alla sua interferenza con le direzioni degli altri compiti. I punteggi vengono quindi raccolti in un insieme globale per selezionare le direzioni singolari con i valori più alti, rispettando un vincolo sul numero totale di direzioni selezionate. Applichiamo la metrica Net Utility a cinque diversi metodi di fusione in tre diversi spazi di fusione. La fusione riguarda due insiemi di compiti: compiti di visione e compiti linguistici. L’allocazione del rango basata su Net Utility supera le varianti degli stessi metodi che ne sono prive. In media, migliora le prestazioni del +2,1% nei compiti di visione e del +2,2% in quelli linguistici.