MSP: Modality Self-Play per addestrare LLM multimodali senza dati cross-modali appaiati

Abstract degli autori

I grandi modelli multimodali hanno compiuto notevoli progressi grazie all’aumento della capacità dei modelli e all’addestramento su enormi quantità di dati multimodali appaiati. Questo approccio presenta però un limite fondamentale: creare dataset multimodali allineati è costoso, estenderli a diverse combinazioni di modalità è difficile e la loro disponibilità limita sempre più i progressi futuri. Presentiamo Modality Self-Play (MSP), un metodo per addestrare modelli fondazionali multimodali basato sulla composizione delle modalità mediata da descrizioni proxy. Anziché ricorrere a dati cross-modali appaiati, durante l’addestramento MSP usa come ponti semantici descrizioni testuali proxy di modalità non osservate che supportano una modalità di ancoraggio. Data una modalità osservata (per esempio, immagini o audio), il modello genera descrizioni proxy di modalità complementari non osservate. Queste vengono poi codificate e allineate alla modalità osservata tramite ponti appresi, consentendo l’interazione cross-modale senza supervisione basata su dati non testuali reali appaiati. La nostra ipotesi centrale è che il testo proxy, combinato con encoder preaddestrati mediante apprendimento contrastivo, fornisca una struttura semantica sufficiente a far emergere la composizione multimodale. Mostriamo che MSP consente la composizione zero-shot delle modalità: modelli addestrati soltanto con una modalità di ancoraggio reale e le relative descrizioni proxy possono integrare più modalità e ragionare su di esse al momento dell’inferenza, pur non avendo mai osservato durante l’addestramento dati non testuali reali appaiati. Nei test, MSP ottiene prestazioni allo stato dell’arte o competitive su diversi benchmark multimodali. Gli studi di ablazione mostrano inoltre che i ponti appresi migliorano l’allineamento, mentre le descrizioni proxy che supportano la modalità di ancoraggio rendono efficace la composizione cross-modale. MSP elimina la necessità di una supervisione basata su dati non testuali reali appaiati (per esempio, audio e immagini), pur continuando a dipendere da coppie modalità-testo, encoder contrastivi preaddestrati e calibrazione dei ponti rispetto alla distribuzione delle modalità.