Avere più modalità aiuta sempre? Una prospettiva geometrica sulla robustezza alle modalità mancanti

Abstract degli autori

La modalità mancante resta una sfida di lunga data nell’apprendimento multimodale. I metodi esistenti affrontano in genere il problema recuperando le modalità o adottando strategie adattive. Tuttavia, trascurano le dipendenze cross-modali interne ai modelli, formatesi durante l’addestramento multimodale, che in seguito compromettono la robustezza. Descriviamo sistematicamente una modalità di fallimento controintuitiva in fase di impiego: quando una modalità manca al momento dell’inferenza, i modelli addestrati con tutte le modalità possono ottenere risultati peggiori dei modelli unimodali. Questo schema si osserva in architetture diverse, come i modelli di fusione, i modelli a due torri in stile CLIP e i modelli visione-linguaggio. Mostriamo che tale degrado è strettamente associato alle dipendenze cross-modali apprese nei principali sottospazi dei parametri. L’addestramento multimodale induce rotazioni strutturate di questi sottospazi, soprattutto negli strati di interazione cross-modale. Queste rotazioni sono associate a margini allineati al compito più ridotti e a un maggiore danno alle rappresentazioni, valutato in funzione del compito, in presenza di input con modalità mancanti. Proponiamo Geodesic Unlearning (GU), un metodo leggero di modifica dei parametri che sfrutta la geometria dei sottospazi di Grassmann per correggerli in modo strutturato e migliorare la robustezza alle modalità mancanti. Il metodo ruota il sottospazio principale dell’input verso un riferimento unimodale lungo un percorso geodetico. Dimostriamo che questa correzione minimizza la distanza dal riferimento entro un budget fisso di distanza tra sottospazi. Gli esperimenti condotti su diverse architetture e dataset mostrano che GU migliora le prestazioni quando l’inferenza avviene in assenza di una modalità, preservando al contempo l’accuratezza con tutte le modalità presenti, e supera solide baseline per la robustezza alle modalità mancanti. Questi risultati sostengono una lettura geometrica del degrado dovuto alle modalità mancanti in fase di impiego e suggeriscono che la modifica localizzata dei sottospazi sia una strada praticabile per correggere i problemi di robustezza.