LoRASpace: un substrato condiviso da tutto il pool per la composizione multi-LoRA statica e dinamica

Abstract degli autori

L’adattamento a basso rango (LoRA) aggiunge piccole matrici a basso rango a un backbone congelato. I repository pubblici ospitano molte LoRA per ciascun backbone, ognuna dedicata a un concetto o a un compito diverso. Combinare più LoRA in una singola generazione impone un compromesso. Fondere i loro pesi in un unico aggiornamento richiede un solo passaggio forward, ma le LoRA addestrate su concetti diversi interferiscono tra loro e la qualità diminuisce. Eseguire ogni LoRA in un passaggio forward separato (modalità composita) preserva la qualità, ma il tempo di inferenza cresce linearmente con il numero di LoRA attive. Studiamo una proprietà dei pool di LoRA trascurata dai precedenti lavori sulla composizione multi-LoRA. Nei pool reali, i fattori a basso rango, considerati nel loro insieme, richiedono molte meno direzioni di quante ne indichi la somma dei loro ranghi. Con la decomposizione ai valori singolari individuiamo il sottospazio minimo che conserva il 99% dell’energia dei fattori. In tre pool di modelli di diffusione è sufficiente un sottospazio pari al 46%-57% della somma dei ranghi delle LoRA, e le sue dimensioni crescono in modo sublineare rispetto a quelle del pool. Un sottopool di 48 LoRA di LoRA-Hub, su compiti FLAN-T5, mostra una sovrapposizione comparabile (62%), mentre il benchmark LoRA-Retriever, costruito selezionando le LoRA per la loro diversità, si colloca vicino alla baseline senza sovrapposizione (96%). È quindi la composizione del pool, più che la modalità dei dati, a prevedere dove la compressione sarà elevata. Sfruttiamo questa sovrapposizione con LoRASpace, un metodo che non richiede addestramento: calcola il sottospazio una sola volta per pool e lo riutilizza in due modalità di inferenza, una statica con il costo della fusione e una dinamica per l’instradamento in base all’input. Nei pool di modelli di diffusione, LoRASpace in modalità statica raggiunge la qualità della modalità composita con il costo della fusione. In modalità dinamica, su un pool di 17 LoRA con sei LoRA attive, è oltre 6 volte più veloce della modalità composita, soprattutto perché esegue un solo passaggio attraverso il backbone anziché sei. In uno studio di ablazione, varianti statiche dello stesso rango raggiungono la stessa qualità di LoRASpace: il miglioramento della qualità non dipende quindi dalla base comune all’intero pool. Sul benchmark LoRA-Retriever, dove la sovrapposizione è quasi nulla, la compressione è limitata e i miglioramenti derivano dall’abbinamento con un sistema di retrieval esterno.