Ciò che sa la generazione: verso una comprensione a grana fine nei modelli multimodali unificati

Abstract degli autori

La comprensione visiva a grana fine richiede di distinguere differenze sottili negli attributi locali e nelle relazioni spaziali, ma resta una sfida per gli attuali modelli visione-linguaggio. I modelli multimodali unificati (UMM) offrono una nuova opportunità grazie a percorsi di generazione che preservano ricche informazioni visive complementari alla comprensione. Tuttavia, i metodi esistenti che si avvalgono della generazione per la comprensione si basano principalmente sulla supervisione generativa o sulla generazione esplicita e non hanno esplorato in modo sistematico l’uso diretto delle rappresentazioni native del lato generativo. Per colmare questa lacuna, analizziamo sistematicamente il contributo di queste rappresentazioni alla comprensione a grana fine. Scopriamo che sono più sensibili ai cambiamenti semantici sottili, colgono cambiamenti rilevanti per il compito che sfuggono alle rappresentazioni del lato della comprensione e, per ottenere questo vantaggio, dipendono da una corretta organizzazione spaziale. Sulla base di questi risultati, progettiamo GAFU, un framework di post-training che rende accessibili le informazioni native del lato generativo per la comprensione a grana fine. GAFU comprime le rappresentazioni visive del lato generativo in token \(G\) compatti che preservano i dettagli visivi più fini, consentendo al percorso di comprensione di recuperarli in funzione del compito. Gli esperimenti mostrano che GAFU supera sistematicamente le baseline SFT addestrate sugli stessi dati in diversi compiti di comprensione visiva e con diverse architetture UMM, con miglioramenti relativi massimi rispettivamente del 20,00\%, del 17,94\% e dell’8,62\% su VStar-Bench, OmniSpatial e VSR-Bench. Nel complesso, GAFU trasforma le informazioni complementari provenienti dal percorso di generazione in progressi nella comprensione visiva a grana fine, offrendo una via efficace verso la sinergia tra generazione e comprensione negli UMM.