MDMR-Bench: un benchmark multidimensionale per la generazione di immagini con più riferimenti

Abstract degli autori

I modelli di generazione di immagini hanno compiuto rapidi progressi e molti ora consentono di generare immagini a partire da più immagini di riferimento e istruzioni testuali. Questi modelli permettono numerose applicazioni, tra cui la fusione di entità e il trasferimento di attributi tra immagini. I benchmark esistenti per la generazione di immagini con più riferimenti, tuttavia, si basano su un numero limitato di dimensioni di valutazione e non colgono le diverse sfide poste da questo compito. Per superare tale limite, proponiamo MDMR-Bench, un benchmark multidimensionale per la generazione di immagini con più riferimenti. MDMR-Bench è organizzato attorno a scenari rappresentativi delle capacità da valutare e comprende diversi sottoinsiemi di valutazione che coprono varie dimensioni del compito, tra cui (1) le comuni operazioni di fusione di entità e trasferimento di attributi, (2) l’estrazione di più elementi da una singola immagine, (3) la manipolazione di infografiche e (4) la generazione che richiede un intenso ragionamento visivo. Questa struttura consente di analizzare sistematicamente le capacità dei modelli e i loro tipi di errore nelle diverse dimensioni della sfida. Inoltre, per rendere la valutazione più affidabile e interpretabile, introduciamo un protocollo basato su liste di controllo che scompone la qualità delle immagini generate in aspetti specifici da valutare. Anziché basarsi soltanto su un punteggio complessivo, il nostro metodo utilizza liste di controllo strutturate, composte da quesiti sia di livello globale sia di livello atomico, che permettono una valutazione più diagnostica delle prestazioni dei modelli. Valutando modelli sia open source sia proprietari, mostriamo che MDMR-Bench offre indicazioni dettagliate sulle loro prestazioni nelle diverse dimensioni. Il dataset e il codice sono disponibili pubblicamente.