La generazione visiva può ampliare le conoscenze dei modelli multimodali unificati?

Abstract degli autori

I modelli multimodali unificati (UMM) ricevono una supervisione per la generazione di immagini che li espone a informazioni visive non pienamente documentate nei testi. Imparare a generare immagini può ampliare le conoscenze dei modelli preaddestrati? Introduciamo Knowledge Transfer Probing (KTP), un protocollo controllato che fornisce nuove conoscenze attraverso l’addestramento alla generazione di immagini e verifica se siano accessibili tramite domande e risposte basate esclusivamente sul testo. In sette categorie di conoscenza e tre UMM osserviamo un trasferimento diretto, ma disomogeneo, dalla supervisione visiva al linguaggio. Alla luce di queste osservazioni, introduciamo in successione Textual Alignment e Interleaved Image--Text Alignment, che collegano la generazione alle risposte rispettivamente tramite conoscenze condivise e risposte intercalate. Indicazioni relative a entità selezionate possono migliorare l’accesso alle conoscenze su altre entità senza supervisione basata su domande e risposte, con ulteriori miglioramenti grazie all’allineamento intercalato. Un’analisi più approfondita mostra che le conoscenze riprodotte correttamente nelle immagini sono spesso più accessibili tramite il testo, anche se restano divari considerevoli tra le due forme di accesso. Questi risultati indicano che la generazione visiva è una fonte di conoscenze che va oltre la supervisione testuale e motivano uno studio congiunto della progettazione dei dati di addestramento e dell’architettura dei modelli per rendere tali conoscenze più ampiamente accessibili.