Distributed Subliminal Learning: sostituire gli aggiornamenti del modello con output ottenuti da input casuali usati come vettori

Abstract degli autori

Nell’apprendimento collaborativo si scambiano di norma i parametri dei modelli: i client federati comunicano gli aggiornamenti, mentre i modelli fondazionali adattati in modo indipendente vengono combinati scambiando adapter o checkpoint. Questo comporta un volume di comunicazione che cresce con le dimensioni del modello e richiede di conciliare le specializzazioni locali nello spazio dei pesi, dove le interferenze sono frequenti. Ci chiediamo se sia invece possibile condividere le conoscenze attraverso il comportamento del modello su input estranei al compito. Introduciamo Distributed Subliminal Learning (DSL), un metodo di apprendimento collaborativo in cui i partecipanti adattano localmente un modello comune, lo interrogano con input estranei al compito, usati come vettori, e trasmettono soltanto gli output risultanti. Un coordinatore aggrega questi output e li distilla in un modello condiviso. Il metodo consente sia di comporre modelli fondazionali in un’unica fase attraverso i completamenti degli input vettore, sia di svolgere apprendimento federato iterativo attraverso i loro logit, senza trasmettere aggiornamenti dei modelli né richiedere dati proxy relativi al compito. Nella composizione di LLM, rispetto alla media degli adapter LoRA, DSL ottiene un maggiore mantenimento delle preferenze (94,56% contro 87,76%) e un incremento più ampio su GSM8K rispetto al modello di base (22,0 contro 0,6 punti), riducendo al contempo il volume dei dati trasmessi in upload di 30,6-49,0$\times$. Nella classificazione federata, DSL raggiunge il 96,83% su MNIST con un traffico in uplink 8,9$\times$ inferiore a quello di FedAvg e offre configurazioni operative che richiedono meno comunicazione su CIFAR-10 e Tiny ImageNet. Questi risultati mostrano che gli output ottenuti da input casuali usati come vettori costituiscono un metodo pratico di comunicazione per condividere conoscenze tra diversi paradigmi di apprendimento collaborativo.