UniData: una pipeline universale per la generazione di istruzioni multimodali

Abstract degli autori

I modelli linguistici multimodali di grandi dimensioni (MLLM) trovano applicazione in una gamma sempre più ampia di scenari reali. Tuttavia, creare dataset di istruzioni multimodali di alta qualità per gli MLLM resta una sfida significativa a causa dell’elevato lavoro richiesto. Sebbene alcuni metodi propongano di generare dati di istruzione, spesso supportano solo un numero limitato di modalità e faticano a produrre istruzioni a più turni. Per affrontare questi problemi, presentiamo UniData, una pipeline universale che trasforma semplici richieste degli utenti in istruzioni multimodali a più turni. UniData dapprima amplia le richieste degli utenti in una varietà di eventi. A partire da questi eventi, integra poi un grande modello any-to-any per generare istruzioni multimodali. Infine, migliora la qualità dei dati correggendo il flusso inferenziale irrilevante e ridondante, sfruttando le correlazioni tra i turni delle istruzioni. Per addestrare questa pipeline, realizziamo anche UniDataset, un dataset di 20.000 voci distribuite su nove modalità per migliorare la generazione multimodale. I nostri esperimenti dimostrano che UniData raggiunge prestazioni allo stato dell’arte nella qualità dei dati e può anche migliorare le capacità di comprensione e generazione di altri modelli multimodali.