Leggi di scala per le miscele di dati multimodali

Abstract degli autori

I sistemi di IA all’avanguardia sono sempre più nativamente multimodali e vengono preaddestrati congiuntamente su più modalità, come testo, immagini e audio. Tuttavia, la comprensione scientifica delle miscele di dati multimodali usate per preaddestrare questi sistemi — quanta parte dedicare a ciascuna modalità e quale eventuale costo in termini di interferenza per le altre — è in gran parte assente o tenuta sotto chiave. In questo lavoro ricaviamo leggi di scala per la combinazione di dati di tre modalità: testo, immagini e audio. I modelli linguistici di grandi dimensioni multimodali (MLLMs) adottano sempre più spesso architetture Mixture-of-Experts (MoE), poiché gli MoE scalano in modo efficiente e limitano in parte l’interferenza cross-modale. Usiamo quindi gli MoE per condurre 268 esperimenti, con modelli da 457 milioni a 8,3 miliardi di parametri e fino a 150 miliardi di token. Il nostro lavoro offre diverse indicazioni operative sulla combinazione di dati multimodali per addestrare gli MLLMs. Primo, gli ottimi in termini di calcolo dipendono dalla modalità: per l’audio è preferibile aumentare la scala del modello piuttosto che il numero di token, mentre testo e immagini richiedono un aumento equilibrato delle dimensioni del modello e dei dati. Secondo, ripetere i dati visivi o audio oltre 2 volte produce benefici trascurabili. Infine, le interazioni tra modalità sono fortemente asimmetriche: la visione interferisce fortemente con l’audio, mentre l’interferenza dell’audio con l’apprendimento di testo e visione è trascurabile. Nel complesso, forniamo una base rigorosa per comprendere le miscele di dati multimodali necessarie ad addestrare gli MLLMs all’avanguardia.