Approfondimenti meccanicistici su LoRA: sparsità dei livelli per il fine-tuning adattivo tramite path patching

Abstract degli autori

Low-Rank Adaptation (LoRA) si è affermato come paradigma dominante per il fine-tuning dei modelli linguistici di grandi dimensioni con un impiego efficiente dei parametri. Il LoRA standard applicato a tutti i livelli adatta l’intero transformer, nonostante il contributo delle sue componenti sia eterogeneo. In questo lavoro conduciamo un’analisi sistematica di interpretabilità meccanicistica per capire come LoRA influisca sulla struttura interna del modello. Osserviamo che l’effetto dell’adattamento tramite LoRA è fortemente disomogeneo, con una marcata sparsità sia tra le componenti sia tra i livelli. Soprattutto, scopriamo che i livelli importanti dipendono fortemente dal compito e presentano una sovrapposizione limitata tra compiti diversi. Sulla base di queste osservazioni, proponiamo Adaptive-LoRA, un metodo basato sulla calibrazione che individua automaticamente i livelli specifici per ciascun compito mediante ablazione a zero con il modello di base congelato, consentendo di selezionare i livelli in modo efficiente senza una ricerca esaustiva. Ampi esperimenti condotti su Qwen2.5-1.5B in 11 diversi compiti di ragionamento mostrano che Adaptive-LoRA supera il LoRA applicato a tutti i livelli pur utilizzando solo il 30% dei livelli, con una riduzione di $3.5\times$ del numero di parametri degli adapter. Questo lavoro collega l’interpretabilità meccanicistica all’efficienza pratica, offrendo sia conoscenze fondamentali sia un approccio fondato su principi per il fine-tuning adattivo.