SimplexLoRA: aggiornamento dinamico dei ranghi mediante minimizzazione alternata con proiezione sul simplesso

Abstract degli autori

Il successo dei grandi modelli linguistici nelle applicazioni reali dipende da metodi di fine-tuning efficienti nell’uso dei parametri, come Low-Rank Adaptation (LoRA), che inserisce adattatori compatti e addestrabili in livelli selezionati. In questo articolo proponiamo SimplexLoRA, una variante di LoRA che adatta i ranghi degli adattatori durante il fine-tuning in base all’importanza appresa per ciascuno di essi. A differenza di LoRA standard, che usa un rango fisso per tutti i livelli, SimplexLoRA ottimizza i pesi di importanza di ciascun adattatore sul simplesso scalato di $n$ durante una breve fase iniziale, poi li mantiene fissi. In questo modo assegna dinamicamente capacità dove è più utile, senza aumentare il numero complessivo di parametri né il costo dell’inferenza. Valutiamo SimplexLoRA su 12 compiti di comprensione del linguaggio, generazione di riassunti e ragionamento, usando DeBERTaV3, BART-large, Llama 3.1 8B e Qwen3-8B. I risultati mostrano che SimplexLoRA eguaglia o supera sistematicamente LoRA standard e i recenti metodi adattivi di riferimento, con i maggiori miglioramenti ai ranghi più bassi. Il nostro codice è disponibile all’indirizzo https://github.com/brain-lab-research/SimplexLoRA.