Separare le direzioni comuni e uniche per la fusione dei modelli

Abstract degli autori

La fusione dei modelli combina più modelli sottoposti a fine-tuning senza ulteriore addestramento; i metodi aritmetici si sono affermati come un modo semplice ma efficace per fondere modelli senza dati. Tuttavia, i metodi aritmetici esistenti trattano i vettori dei task nello spazio dei parametri e applicano un’unica regola elemento per elemento a direzioni che possono differire per grado di fusibilità. In una base direzionale condivisa, rileviamo una struttura coerente articolata in due regimi: una componente comune a bassa dispersione, condivisa tra i task, e una coda ad alta dispersione, dominata dai task, che concentra una quota sproporzionata dell’energia. Questi risultati motivano Common--Unique Subspace Decomposition (CUSD), un metodo di pre-fusione senza dati che separa i vettori dei task in componenti direzionali comuni e uniche, fonde le componenti comuni con un operatore aritmetico a valle e conserva separatamente i residui unici. Gli esperimenti condotti su $11$ modelli di base, quattro famiglie di modelli e quattro operatori di fusione basati su metodi aritmetici mostrano che CUSD migliora 42 delle 44 combinazioni modello-operatore e ottiene miglioramenti fino al 22,5% rispetto alle baseline corrispondenti. Il nostro codice è disponibile pubblicamente all’indirizzo https://github.com/stwang666/CUSD