TerraVis: verso la valutazione della coerenza visiva ancorata al mondo reale nella generazione di immagini da testo tramite flussi di lavoro basati su MLLM

Abstract degli autori

I recenti modelli di generazione di immagini da testo hanno compiuto notevoli progressi nel fotorealismo, nell’estetica e nell’allineamento tra testo e immagine. Eppure, anche immagini visivamente accattivanti possono risultare poco plausibili rispetto al mondo reale, presentando strutture degli oggetti malformate, anatomie impossibili, interazioni fisicamente implausibili o relazioni spaziali incoerenti. Questi problemi non sono rilevati adeguatamente dalle metriche esistenti di fedeltà, estetica, preferenza o allineamento. Per colmare questa lacuna, presentiamo TerraVis, un sistema per valutare la coerenza visiva delle immagini generate rispetto al mondo reale. TerraVis definisce una tassonomia strutturata delle violazioni di tale coerenza a livello di oggetti, interazioni e scene e utilizza un processo di valutazione in più fasi per individuarle e quantificarle. Data un’immagine, TerraVis usa innanzitutto un MLLM per stabilire se sia idonea alla valutazione; rileva poi le violazioni appartenenti a 18 tipologie definite dalla tassonomia e le classifica come lievi o gravi, ricavandone un punteggio complessivo di coerenza con il mondo reale. Su diversi modelli di generazione di immagini da testo open source e proprietari, valutati con due benchmark ampiamente utilizzati, TerraVis ottiene la correlazione più forte con i giudizi umani sulla coerenza con il mondo reale tra le metriche esistenti. I risultati dei nostri benchmark mostrano inoltre che i modelli con prestazioni elevate secondo le metriche convenzionali possono comunque presentare notevoli violazioni di questa coerenza. Questi risultati evidenziano che la coerenza con il mondo reale è una dimensione complementare della valutazione e dimostrano che TerraVis consente di quantificare, diagnosticare e confrontare sistematicamente tali problemi. Il nostro codice è disponibile pubblicamente all’indirizzo https://github.com/ShyFoo/TerraVis.