Addestramento contrastivo degli adapter e distillazione della conoscenza basata sul consenso per l’adattamento di dominio multi-sorgente senza accesso ai dati sorgente nella diagnosi del cancro della pelle

Abstract degli autori

La diagnosi del cancro della pelle, in particolare la distinzione tra melanoma e nevi benigni, è difficile a causa della somiglianza visiva tra le lesioni. Sebbene le reti neurali convoluzionali (CNN) e i vision transformer (ViT) abbiano mostrato risultati promettenti, la loro efficacia spesso diminuisce sui dati provenienti da fonti cliniche eterogenee. I metodi convenzionali di adattamento di dominio affrontano il domain shift, ma richiedono l’accesso ai dati sorgente durante l’adattamento, cosa spesso impraticabile a causa delle normative sulla privacy. L’adattamento di dominio non supervisionato senza accesso alle sorgenti multiple (MSFDA) affronta questa limitazione sfruttando più domini sorgente etichettati per generalizzare a un dominio target non etichettato, senza richiedere l’accesso ai dati sorgente. Tuttavia, i metodi MSFDA esistenti si basano sul fine-tuning dell’intero backbone, con conseguente oblio catastrofico e overfitting su piccoli dataset clinici, e affrontano il domain shift nella fase di aggregazione senza definire uno spazio delle caratteristiche condiviso e invariante al dominio. Inoltre, la loro dipendenza da pseudo-etichette hard o da aggregazioni ponderate in base alla confidenza introduce segnali di supervisione rumorosi in presenza di domain shift. Per affrontare queste limitazioni, proponiamo CAT-CKD, composto da due componenti: (1) l’addestramento contrastivo degli adapter (CAT), che addestra adapter ConvPass leggeri all’interno di un backbone ViT congelato, utilizzando l’apprendimento contrastivo supervisionato (SCL) per definire uno spazio delle caratteristiche condiviso e invariante al dominio prima dell’addestramento di modelli specifici per ciascuna sorgente; e (2) la distillazione della conoscenza basata sul consenso (CKD), che aggrega i logits di più modelli sorgente in un segnale di supervisione consensuale e adatta un modello studente sui dati target non etichettati usando la divergenza KL. Gli esperimenti condotti su cinque dataset di lesioni cutanee disponibili pubblicamente mostrano che CAT-CKD raggiunge un AUROC medio dell’86,1%, superando i metodi MSFDA esistenti e richiedendo solo 4,3 milioni di parametri addestrabili. Il codice è disponibile su https://github.com/A-Abedi/CAT_CKD.