Quando la federazione cross-silo va offline: apprendimento continuo per l’integrazione di nuovi siti con pochi dati non etichettati

Abstract degli autori

Spesso un’organizzazione dispone di troppo pochi dati etichettati per addestrare un modello capace di generalizzare, mentre i dati necessari a colmare la lacuna sono detenuti da organizzazioni che non possono divulgarli. L’apprendimento federato cross-silo offre una soluzione, perché i partecipanti si scambiano i parametri del modello anziché i dati. Di norma, però, stabilisce in anticipo sia i siti partecipanti sia le classi che il modello può prevedere, e l’impiego del modello può mettere in discussione entrambi i presupposti. Un nuovo sito si aggiunge dopo l’addestramento, quando i siti già coinvolti hanno concluso la loro partecipazione e sono andati offline. I suoi dati arrivano senza etichette e comprendono sia condizioni che il modello già riconosce sia condizioni che nessun partecipante ha osservato. Presentiamo una procedura autonoma in tre fasi che amplia il modello interamente presso il nuovo sito: esperti di ricostruzione individuano le novità, il clustering suddivide i dati così segnalati in condizioni candidate e le medie delle classi descrivono le vecchie classi, il tutto in un’unica rappresentazione condivisa. Queste classi sono state apprese da dati che non lasciano mai chi li detiene. Le consuete difese contro la dimenticanza non sono quindi disponibili, e la procedura ricava le informazioni che quei dati avrebbero fornito da una di due fonti diverse: prototipi conservati dalla federazione oppure dati detenuti dal nuovo sito. Su un dataset reale di monitoraggio delle condizioni industriali, in una procedura eseguita dall’inizio alla fine senza consultare alcuna etichetta, con entrambe le fonti l’accuratezza sulle vecchie classi resta pari o superiore a 0,868 e la dimenticanza non supera 0,063. I due risultati differiscono di 0,021: si può quindi scegliere una configurazione in base a ciò che permette di divulgare, anziché all’accuratezza che offre. Entrambe le configurazioni mantengono in equilibrio l’accuratezza sulle vecchie e sulle nuove classi, mentre tutte le alternative che valutiamo ne sacrificano una a vantaggio dell’altra. Entrambe, inoltre, preservano meglio le vecchie classi rispetto ai metodi di riferimento basati sulla distillazione e sulla regolarizzazione. L’equilibrio si mantiene anche con appena 6 dati etichettati per ogni condizione in arrivo e 3 conservati per ciascuna vecchia classe.