Adattamento federato non supervisionato del dominio in un solo passaggio con Smoothed Knowledge Distillation e perfezionamento dei modelli insegnanti

Abstract degli autori

L’adattamento federato non supervisionato del dominio (FUDA) affronta la sfida di adattare i modelli a un dominio di destinazione privo di etichette usando domini di origine decentralizzati, senza compromettere la riservatezza dei dati. I metodi FUDA esistenti, tuttavia, richiedono in genere più cicli di comunicazione, si basano su strategie di aggregazione complesse e spesso faticano a gestire pseudoetichette rumorose e conoscenze incoerenti provenienti dai domini di origine. Per affrontare queste difficoltà, proponiamo SKD-ETR, un nuovo framework FUDA in un solo passaggio che combina Smoothed Knowledge Distillation (SKD) ed Exponential moving average-based Teacher Refinement (ETR). SKD addestra un modello studente sul dominio di destinazione usando pseudoetichette probabilistiche smussate, generate dall’insieme dei modelli di origine. Questo riduce l’eccesso di sicurezza, attenua il rumore e migliora la robustezza. ETR perfeziona ulteriormente ciascun modello di origine avvicinandone i parametri a quelli dello studente mediante una media mobile esponenziale (EMA), trasferendo così ai modelli insegnanti la conoscenza acquisita sul dominio di destinazione. Questo perfezionamento bidirezionale migliora la qualità delle pseudoetichette e la capacità di generalizzazione dello studente senza ulteriori costi di comunicazione. SKD-ETR elimina la necessità di un’aggregazione complessa inizializzando casualmente il modello studente ed eseguendo la distillazione in un unico ciclo. Ampi esperimenti su OfficeHome, Office-Caltech e DomainNet mostrano che SKD-ETR raggiunge prestazioni competitive, è efficiente in termini di comunicazione e calcolo ed è robusto anche con una supervisione affetta da rumore. Il codice relativo a questo articolo è disponibile all’indirizzo https://github.com/A-Abedi/SKD_ETR.