MSCR: bilanciare congiuntamente l’utilizzo delle modalità e scoprire informazioni sinergiche

Abstract degli autori

Nell’apprendimento multimodale, lo squilibrio tra le modalità spesso consente a una di esse di dominare l’ottimizzazione e impedisce al modello di sfruttare pienamente le interazioni tra modalità. Metodi orientati al bilanciamento come il Multimodal Competition Regularizer (MCR) ottengono buoni risultati attenuando questo squilibrio durante l’addestramento. Tuttavia, questi metodi di bilanciamento dinamico si limitano principalmente a regolare il contributo delle modalità e non considerano come lo squilibrio influenzi la formazione di informazioni sinergiche durante la fusione. La sinergia è una delle principali fonti del vantaggio multimodale, perché offre un guadagno predittivo che non si può ottenere dalle sole informazioni unimodali. Proponiamo il Multimodal Synergistic Competition Regularizer (MSCR), un metodo di fusione che promuove congiuntamente un utilizzo equilibrato delle modalità e la scoperta di informazioni sinergiche. MSCR persegue due obiettivi complementari. Un obiettivo volto a contrastare la dominanza limita l’influenza unimodale eccessiva e lascia spazio alle informazioni sinergiche; un obiettivo di sinergia incoraggia il predittore basato sulla fusione a superare un riferimento unimodale non sinergico. Un gate adattivo concentra inoltre la regolarizzazione sui campioni che richiedono una modellazione collaborativa più forte. Esperimenti su cinque benchmark mostrano che MSCR migliora sistematicamente le prestazioni rispetto a MCR e rafforza la capacità di sfruttare la sinergia. Aumenta il recupero condizionale, ossia l’accuratezza della predizione basata sulla fusione sui campioni che i predittori unimodali classificano erroneamente, nonché la quota dell’output del modello che InterSHAP attribuisce alle interazioni tra modalità. Il guadagno nel recupero condizionale persiste quando il modulo di fusione è basato su Transformer. Il codice è disponibile all’indirizzo https://github.com/chenxinyu991-collab/MSCR.