Embedding fattorizzati degli MLLM per il recupero di immagini composte

Abstract degli autori

Il recupero di immagini composte (CIR) mira a recuperare un’immagine obiettivo data un’immagine di riferimento e un testo che descrive una modifica. Sebbene gli approcci recenti che sfruttano i modelli linguistici multimodali di grandi dimensioni (MLLM) abbiano mostrato progressi significativi, sosteniamo che la capacità composizionale degli MLLM sia ancora sottoutilizzata. Ciò deriva dal fatto che le query composte vengono mappate direttamente in un embedding per il recupero usando esclusivamente una supervisione contrastiva, senza risolvere esplicitamente le modifiche visive desiderate. In questo lavoro presentiamo Factorized MLLM Embeddings (FactEmbed), che separa la comprensione delle query composizionali dalla creazione di embedding discriminativi. Invece di proiettare direttamente la query composta in un unico embedding senza ragionamento interno, FactEmbed impiega un insieme di variabili latenti fattorizzate che simulano le modifiche visive desiderate tramite un obiettivo intermedio di immaginazione dell’immagine obiettivo. Questo processo incoraggia le variabili latenti ad ancorarsi alla semantica dell’immagine obiettivo prima di formare rappresentazioni discriminative per il recupero. In seguito, per propagare queste rappresentazioni fattorizzate nel modello ai fini del recupero, ottimizziamo una funzione di perdita contrastiva a livello dei fattori, distillando al contempo le rappresentazioni scomposte in un livello di attenzione più profondo dell’MLLM. Infine, per un’inferenza efficiente, manteniamo il token [EOS] per ricavare un embedding a livello globale dalle variabili latenti fattorizzate, mentre sfruttiamo la media delle variabili latenti fattorizzate per riordinare una breve lista di candidati a un costo trascurabile, poiché entrambi sono prodotti dallo stesso passaggio in avanti. Valutazioni su larga scala dimostrano che FactEmbed supera i lavori precedenti nei benchmark CIR.