Bloccati nel rimescolamento: l’associazione tra attributi e oggetti nei modelli visione-linguaggio

Abstract degli autori

Il recupero è un compito fondamentale nei sistemi multimodali: data un’immagine o un testo come query, l’obiettivo è trovare le immagini o i testi più pertinenti in una raccolta, spesso usando uno spazio di embedding condiviso. Per essere affidabile, il recupero richiede che questi embedding rappresentino non solo quali concetti sono presenti, ma anche come sono combinati. Una sfida composizionale cruciale è l’associazione tra attributi e oggetti: codificare quali attributi appartengono a quali oggetti. I benchmark esistenti offrono una visione limitata di questa capacità: in genere coprono solo alcune combinazioni di modalità, semplici scambi tra due oggetti o insiemi ristretti di attributi. Resta quindi da chiarire quanto solidamente i modelli attuali preservino le associazioni tra attributi e oggetti nelle diverse combinazioni di modalità e in contesti più complessi. Presentiamo perciò SABER, un benchmark controllato per valutare questa capacità in tutte e quattro le combinazioni di modalità tra immagini e testi, con diversi tipi di attributi e scene che contengono fino a dieci oggetti. La valutazione dei modelli su SABER rivela notevoli difficoltà nell’associazione sia negli encoder duali in stile CLIP sia nei recenti modelli di embedding basati su MLLM. Questi risultati ci spingono a chiederci come migliorare tale capacità in modo efficiente. La supervisione multimodale potrebbe essere efficace, ma raccogliere immagini adatte è difficile e costoso. Il testo, invece, si presta bene alla supervisione delle associazioni: è economico da generare, consente una gamma più ampia di attributi e permette di creare esempi negativi difficili con un controllo preciso. Sottoponiamo quindi a fine-tuning un modello di embedding basato su MLLM usando esclusivamente testi sintetici sulle associazioni tra attributi e oggetti. Nonostante l’assenza di supervisione tramite immagini, i miglioramenti si trasferiscono al recupero cross-modale e a quello immagine-immagine, preservando al contempo le prestazioni generali degli embedding multimodali. Il nostro modello ottiene risultati allo stato dell’arte su SABER e migliora anche nei benchmark sulla negazione e sul recupero di istanze, dimostrando i benefici più ampi della nostra supervisione incentrata sulle associazioni.