Superare le isole informative nel tuning sparso grazie alla connettività small-world

Abstract degli autori

Il tuning sparso è ampiamente utilizzato per adattare i modelli linguistici di grandi dimensioni grazie alla sua efficienza in termini di parametri. La sua efficacia, tuttavia, dipende non solo dal numero di parametri addestrabili, ma anche dalla topologia delle interazioni tra le caratteristiche nel supporto strutturale dell’aggiornamento sparso. Una connettività limitata o disomogenea in questo supporto può isolare sottoinsiemi di dimensioni delle caratteristiche, formando isole informative che limitano le interazioni dirette, specifiche del compito, attraverso l’aggiornamento addestrabile. Per affrontare questo problema, proponiamo Small-World Induced Fine-Tuning (SWIFT), un framework di tuning sparso ispirato alla connettività small-world. SWIFT combina aggiornamenti sparsi a blocchi diagonali, che consentono la mescolanza locale delle caratteristiche, con una permutazione di dispersione deterministica e fissa, che instrada gli output mescolati tra i gruppi di caratteristiche senza aggiungere parametri addestrabili. Mostriamo inoltre teoricamente che alcuni modelli di aggiornamento sparso casuale e gli aggiornamenti a blocchi diagonali possono presentare isole informative, mentre una permutazione sufficientemente dispersiva garantisce un’espansione positiva a livello di blocco quando il fattore addestrabile a blocchi diagonali è costituito da blocchi quadrati densi nella struttura e di uguali dimensioni. Esperimenti approfonditi sul ragionamento di senso comune, sulla generazione del linguaggio naturale e sulla classificazione delle immagini dimostrano che SWIFT supera in media le baseline di fine-tuning efficiente in termini di parametri (PEFT) valutate e può eguagliare o superare il fine-tuning completo. L’implementazione è disponibile all’indirizzo https://github.com/xianchaoguan/SWIFT