SaMA: adattamento morfo tramite espansione asimmetrica del prodotto di Kronecker

Abstract degli autori

L’adattamento a basso rango (LoRA) ha attirato notevole attenzione nell’ambito del fine-tuning efficiente in termini di parametri (PEFT). Tuttavia, il suo design presenta due limitazioni fondamentali. In primo luogo, la sua varietà di invarianza induce direzioni piatte nel panorama della funzione di perdita, creando un collo di bottiglia nell’ottimizzazione per gli ottimizzatori adattivi. In secondo luogo, il suo rango effettivo cresce soltanto in modo lineare rispetto al budget di parametri. In questo articolo proponiamo Scalable Morpho Adaptation (SaMA), un metodo PEFT fondato su una generalizzazione rigorosa del prodotto di Kronecker. Rilassando il vincolo dei blocchi condivisi nella fattorizzazione perfect-shuffle, SaMA spazia dal basso rango al rango pieno e raggiunge un rango pratico che cresce quadraticamente rispetto al budget di parametri, fino al rango pieno. Inoltre, mostriamo che la sua varietà di invarianza si riduce a un gruppo diagonale, rendendola strutturalmente più adatta agli ottimizzatori. Sul piano empirico, SaMA supera costantemente solide baseline PEFT nei benchmark di ragionamento di senso comune e aritmetico, risultando al contempo più efficiente in termini di parametri.