Distillazione Gromov-Wasserstein per embedding induttivi multivista

Abstract degli autori

Lo scaling multidimensionale Gromov-Wasserstein (GW-MDS) apprende rappresentazioni a bassa dimensionalità da dati relazionali, ma rimane trasduttivo e non fornisce una mappatura esplicita per i campioni mai osservati. Proponiamo un metodo induttivo basato sulla distillazione baricentrica. Un modello insegnante GW-MDS apprende dai dati di addestramento un supporto latente e un piano di trasporto ottimale; la proiezione baricentrica trasforma poi l’accoppiamento risultante in target allineati ai campioni. Un modello studente neurale apprende quindi una mappatura esplicita per i campioni non presenti nell’addestramento, evitando di dover costruire ulteriori matrici relazionali ed eseguire l’ottimizzazione GW in fase di inferenza. Formuliamo il metodo per dati a vista singola e lo estendiamo ai modelli insegnanti Mean-GWMDS e Multi-GWMDS mediante target di consenso e di proiezione selezionata, appresi da uno studente multivista con codificatori specifici per ciascuna vista. Esaminiamo anche un modello neurale di riferimento diretto, addestrato esclusivamente con un obiettivo GW. Esperimenti su dati sintetici e reali, basati su relazioni euclidee, geodetiche e coseno, mostrano che i modelli distillati preservano la geometria del modello insegnante sui campioni mai osservati e superano sistematicamente l’addestramento neurale GW diretto nella preservazione delle relazioni indicizzate per campione. Questi risultati mostrano che la proiezione baricentrica è un ponte efficace tra gli embedding GW trasduttivi e le mappature neurali induttive.