Non tutti i clienti mantenuti sono uguali: selezione dei client per il disapprendimento federato

Abstract degli autori

Il disapprendimento federato (FU) mira a rimuovere l’influenza di uno specifico client target da un modello addestrato, senza i costi proibitivi di un riaddestramento da zero. I metodi esistenti trattano perlopiù il disapprendimento come un’operazione stateless, svolta a posteriori, trascurando il fatto che l’influenza dei client dipende dal percorso seguito: i contributi forniti durante l’addestramento, in particolare nei periodi critici di apprendimento (CLP), possono avere effetti sproporzionati e persistenti. Inoltre, la sovrapposizione delle conoscenze e la disponibilità intermittente dei client rendono inefficiente e poco pratico fare affidamento su tutti i client mantenuti. Introduciamo PDF, un framework di selezione dei client dipendente dal percorso, basato sull’intuizione che i client mantenuti non hanno tutti lo stesso valore ai fini del disapprendimento. Durante l’addestramento, PDF mantiene cronologie leggere, indipendenti dal target e ponderate in base ai CLP, che riassumono la direzione cumulativa degli aggiornamenti di ciascun client e il suo allineamento con il modello globale. Quando viene richiesta un’operazione di disapprendimento, queste cronologie identificano e classificano i client mantenuti che sono informativi a livello globale ma debolmente accoppiati al target, consentendo un disapprendimento basato sul riaddestramento usando solo i migliori $k$ client per un numero limitato di round. Gli esperimenti su FMNIST, CIFAR-10 e CIFAR-100, in condizioni IID e non-IID, mostrano che PDF consente di ottenere un oblio efficace e un’elevata utilità sui client mantenuti usando un numero notevolmente inferiore di questi ultimi. In particolare, su CIFAR-10 non-IID, PDF ottiene un’accuratezza dell’oblio pari a $0\%$ e un’AUC della MIA simile a quella del riaddestramento; su CIFAR-100 migliora l’accuratezza sui client mantenuti fino a $6.91$ punti percentuali rispetto al baseline FU concorrente più forte e riduce la comunicazione di circa $69\%$ e il calcolo del $57$--$61\%$ rispetto a Retrain.