YANAMI: un dataset multimodale su larga scala e un benchmark per l’interazione con stato su più turni

Abstract degli autori

I modelli multimodali unificati (UMM) integrano comprensione visiva, generazione e modifica in un unico framework unificato. Tuttavia, i dataset e i benchmark multimodali unificati esistenti sono ancora dominati da task a turno singolo. Anche nei dataset multi-turno più recenti, molti turni possono essere risolti indipendentemente, senza tenere traccia delle informazioni tra un turno e l’altro. Di conseguenza, offrono supervisione e valutazione limitate per l’interazione multimodale con stato, che richiede ai modelli di comprendere, mantenere, aggiornare e realizzare fedelmente gli stati di dialogo in evoluzione attraverso i turni. Per colmare questa lacuna, presentiamo YANAMI, il primo dataset e benchmark multimodale di dialogo su larga scala per l’interazione con stato, composto da YANAMI-400K e YANAMI-Bench. YANAMI-400K contiene 400.000 dialoghi multimodali multi-turno, con oltre 2 milioni di immagini e 2,6 milioni di turni di dialogo. I dialoghi coprono quattro scenari rappresentativi: fusione di più immagini, modifica delle immagini, modellazione del mondo e ragionamento visivo, e richiedono ai modelli di tenere continuamente traccia, preservare e rivedere gli stati multimodali di dialogo in evoluzione attraverso i turni. YANAMI-Bench comprende 400 dialoghi multi-turno per valutare sistematicamente l’interazione multimodale con stato. Valuta congiuntamente la comprensione dello stato del dialogo e la realizzazione visiva, caratterizzando il divario tra la capacità dei modelli di comprendere gli stati di dialogo in evoluzione e quella di realizzarli fedelmente negli output visivi. Gli esperimenti mostrano che il fine-tuning di BAGEL su YANAMI-400K migliora rispettivamente del 10,3%, del 2,0% e del 13,23% la modifica e la generazione di immagini, nonché l’interazione multimodale con stato, preservando al contempo le sue capacità generali di comprensione visiva. Le valutazioni su YANAMI-Bench rivelano inoltre che gli UMM esistenti faticano ancora a mantenere e aggiornare gli stati multimodali di dialogo in evoluzione e a realizzarli visivamente.