SPADE-KD: Apprendimento collaborativo tra pari in contesti eterogenei

Abstract degli autori

L’apprendimento collaborativo peer-to-peer è un paradigma emergente di deep learning distribuito che elimina la necessità di un aggregatore e di un distributore centrali, evitando i problemi di singolo punto di guasto e di collo di bottiglia che questi possono comportare. Molti di questi approcci ricorrono alla media dei parametri, che richiede ai client di avere architetture di modello omogenee; altri, invece, usano il distillamento della conoscenza come alternativa, ma si basano su dati pubblici condivisi o su un’infrastruttura di controllo centralizzata. Molti di questi approcci assumono inoltre che una soluzione vada bene per tutti, addestrando congiuntamente un’unica soluzione globalmente ottimale per tutti i client, mentre nella realtà le distribuzioni dei dati sottostanti ai client possono differire, cosicché una soluzione globalmente ottimale potrebbe non esserlo a livello locale per tutti. Per consentire l’apprendimento collaborativo in ambienti caratterizzati da eterogeneità sia delle architetture dei modelli sia delle distribuzioni dei dati, presentiamo SPADE-KD, un framework di distillamento dei modelli completamente decentralizzato che ottimizza la collaborazione puntando a prestazioni personalizzate anziché globali. SPADE-KD sfrutta due meccanismi: il distillamento adattivo e la selezione dei peer basata sull’utilità. Il distillamento adattivo modula l’intensità di ogni trasferimento di modello in ingresso in base al vantaggio prestazionale del modello in ingresso rispetto al modello nativo, misurato attraverso le rispettive loss sul task, in modo che un client distilli più intensamente dai modelli in ingresso che ottengono risultati migliori sui suoi dati locali. La selezione dei peer basata sull’utilità utilizza l’utilità informata dalle loss e ricavata dal distillamento adattivo per classificare i potenziali partner, concentrandosi sugli scambi che migliorano in modo misurabile il modello locale e limitando i trasferimenti di scarsa utilità. Sulla base di task di classificazione federata, dimostriamo che SPADE-KD supera sistematicamente il distillamento decentralizzato ingenuo, con una loss inferiore e una convergenza più rapida, e che i suoi singoli componenti sono più efficaci insieme che separatamente.