SAGE: scoperta e generazione di fattori salienti con rappresentazioni visive di base

Abstract degli autori

Dato un dataset bersaglio, per esempio volti con occhiali, e un dataset di riferimento, per esempio volti senza occhiali, l’analisi contrastiva separa i fattori \textit{salient} specifici del dataset bersaglio dal contenuto \textit{common} condiviso da entrambi. Vogliamo ottenere rappresentazioni dei fattori salienti che colgano i dettagli specifici del dataset bersaglio in ogni immagine, come la forma, il colore e la posizione degli occhiali, così da rivelare sottotipi senza etichette che li identifichino e guidare la generazione di nuovi esempi di un sottotipo scoperto, anche quando non ha un nome né una descrizione testuale. Presentiamo SAGE, che apprende entrambi i tipi di fattori direttamente nello spazio latente spaziale ad alta dimensionalità di un autoencoder di rappresentazione congelato e condiziona un diffusion transformer alla rappresentazione dei fattori salienti appresa da un’immagine di riferimento. Su Digits-ImageNet e FFHQ eyeglasses, SAGE combina una \textit{reconstruction} ad alta fedeltà (rFID inferiore a $2$) con la \textit{subtype discovery} non supervisionata: recupera le cifre meglio dei metodi di confronto (accuratezza della probe pari a $0.950$ vs.\ al massimo $0.281$) e rivela tipi di occhiali, stili più specifici di occhiali da sole e immagini etichettate erroneamente; la \textit{generation} condizionata ai fattori salienti aumenta l’accuratezza dei sottotipi su Digits-ImageNet rispetto allo spazio latente non fattorizzato ($90.5\%$ vs.\ $27.7\%$) e la diversità su entrambi i dataset. Nelle immagini OCT della retina, lo spazio dei fattori salienti di SAGE distingue tre malattie usando soltanto etichette che indicano la presenza o l’assenza di malattia.