BLEND: equilibrio tra personalizzazione e generalizzazione nei modelli federati visione-linguaggio

Abstract degli autori

I modelli federati visione-linguaggio (FedVLMs) rappresentano una delle nuove frontiere dell’apprendimento automatico: mirano a integrare l’apprendimento federato nei processi di fine-tuning dei modelli visione-linguaggio (VLMs). In questo lavoro presentiamo BLEND, un nuovo framework progettato per migliorare insieme le capacità di personalizzazione e generalizzazione dei FedVLMs. BLEND propone una strategia di fine-tuning selettivo e aggregazione dei parametri dei VLM che comprende (i) adattatori globali per la visione e il testo, condivisi tra i client, e (ii) un adattatore personalizzato di proiezione visiva, specifico per ciascun client. BLEND introduce inoltre una nuova funzione di perdita che combina gli output degli adattatori globali e personalizzati per ottenere la personalizzazione, promuovendo al tempo stesso la generalizzazione attraverso una progettazione rigorosa degli ancoraggi, implementata mediante le teste di proiezione del VLM zero-shot. Esperimenti approfonditi dimostrano che BLEND supera sistematicamente i metodi di riferimento più avanzati, evidenziando la sua capacità di bilanciare efficacemente personalizzazione e generalizzazione in diverse configurazioni di sistema. (Il codice è disponibile all’indirizzo: https://github.com/payamsiabd/BLEND.git)