DiscoVL: apprendimento di rappresentazioni cross-modali disaccoppiate tramite regolarizzazione avversaria ortogonale per modelli visione-linguaggio

Abstract degli autori

I modelli visione-linguaggio preaddestrati eccellono in diversi compiti di percezione, ma adattarli a nuovi contesti applicativi senza compromettere la capacità di generalizzazione resta difficile. I metodi esistenti di apprendimento dei prompt efficienti in termini di parametri producono spesso rappresentazioni incoerenti e non tengono conto dei cambiamenti nella distribuzione semantica. In questo lavoro presentiamo DiscoVL, un framework per l’apprendimento di rappresentazioni cross-modali disaccoppiate che combina la regolarizzazione avversaria ortogonale con un allineamento cross-modale strutturato per i modelli visione-linguaggio. Per affrontare l’insufficiente interazione cross-modale, DiscoVL impiega un modulo di allineamento residuo a basso rango con più rami, che scompone le rappresentazioni in sottospazi e consente uno scambio bidirezionale tra le componenti visive e testuali a ogni livello. Inoltre, mentre i vincoli convenzionali a triplette adattano eccessivamente le caratteristiche ai centroidi delle classi, proponiamo una regolarizzazione ortogonale per la funzione di perdita avversaria a triplette, che impedisce il collasso dei centroidi e migliora sensibilmente la capacità di generalizzazione. Le valutazioni su 15 benchmark mostrano che DiscoVL ottiene miglioramenti costanti rispetto ai metodi più avanzati nella generalizzazione dalle classi di base a quelle nuove, nella valutazione tra dataset e nell’apprendimento con pochi esempi.