IntReal: un dataset e benchmark del mondo reale per la generazione multimodale intercalata

Abstract degli autori

Gli esseri umani fruiscono abitualmente di contenuti multimodali, in cui le informazioni testuali e visive sono naturalmente intercalate. Sebbene i modelli multimodali unificati (UMM) siano in grado di generare congiuntamente testo e immagini, la generazione multimodale intercalata rimane in gran parte inesplorata. I progressi in questo campo sono ostacolati da due limiti fondamentali: (1) la mancanza di compiti di generazione intercalata ben definiti e dei relativi dati di addestramento; e (2) l’assenza di protocolli di valutazione dettagliati, in grado di diagnosticare in modo affidabile le prestazioni dei modelli nelle diverse dimensioni delle capacità. A tal fine, presentiamo IntReal, composto da due componenti complementari: IntReal-100K, un dataset di esempi multimodali intercalati tratti dal mondo reale e appartenenti a quattro categorie principali, e la IntReal Evaluation Suite, che valuta le prestazioni dei modelli in sette dimensioni complementari tramite modelli esperti specializzati, consentendo una diagnosi da grana grossa a fine. Esperimenti approfonditi convalidano la nostra suite di valutazione, mostrando una bassa ridondanza tra le metriche (massima correlazione assoluta a coppie di Spearman pari a $ρ\leq 0.42$ ), un’elevata concordanza con i giudizi umani (83,3% di accuratezza) e una forte coerenza tra diversi valutatori esperti (Spearman’s $ρ> 0.9$ ), a sostegno della complementarità e dell’affidabilità delle nostre metriche. Confrontando quattro famiglie di UMM, mostriamo che la IntReal Evaluation Suite fa emergere punti di forza e debolezza distinti nei diversi modelli. Gli esperimenti di post-addestramento dimostrano l’utilità di IntReal-100K per migliorare la generazione intercalata e mostrano inoltre che l’addestramento della generazione unimodale può giovare anche alla generazione intercalata. Questi risultati suggeriscono che la generazione intercalata può trarre beneficio dall’ottimizzazione specifica per modalità, senza richiedere un addestramento congiunto di testo e immagini in ogni fase.