CompoSET: un benchmark controllato a modifica singola per la composizionalità visione-linguaggio

Abstract degli autori

La composizionalità visione-linguaggio è la capacità di identificare a quali entità si associano proprietà, relazioni, quantità e stati sia in un’immagine sia in una didascalia, e di trovare corrispondenze tra queste associazioni nelle due modalità. I benchmark esistenti valutano questa capacità attraverso l’abbinamento immagine-testo: un modello ordina i punteggi di similarità delle possibili corrispondenze tra immagini e didascalie e ha successo quando la corrispondenza corretta è al primo posto. In questi dataset, le immagini abbinate differiscono per più di una singola associazione: scena, disposizione e contenuto sono tutti diversi, con una variazione media del 97% dei pixel. Queste coppie non isolano la composizionalità: i risultati sono condizionati da differenze globali tra le immagini. Presentiamo Compositional Single-EdiT (CompoSET), un dataset di benchmark in cui ogni coppia di base immagine-didascalia ha una controparte modificata, o foil, che conserva la scena ma differisce per una singola modifica controllata, come il colore, il numero, la relazione spaziale o lo stato di un oggetto. Le immagini di base e i foil mantengono la complessità naturalistica della scena, pur essendo quasi identici dal punto di vista visivo: in media cambia solo l’8% dei pixel. Il nostro dataset include numerosi foil per ogni scena di base (circa 22), così da separare la difficoltà della scena da quella della modifica, una distinzione che i benchmark con un solo foil per ogni elemento di base non possono operare. CompoSET contiene 1.776 istanze distribuite in 80 scene naturalistiche, comprende 16 tipi di modifica in 4 categorie semantiche e include didascalie con 3 livelli di verbosità. Testiamo 22 modelli VLM con doppio encoder e rileviamo che tutti ottengono risultati pari o inferiori al livello del caso su CompoSET, nonostante le buone prestazioni nei benchmark precedenti. Ciò suggerisce che i progressi apparenti ottenuti con i precedenti protocolli di abbinamento immagine-testo potrebbero essere un artefatto dovuto a fattori confondenti nella progettazione dei benchmark, e che la comprensione composizionale nei VLM con doppio encoder è ben lontana dall’essere risolta. CompoSET affronta questi fattori confondenti e offre un benchmark meglio controllato per misurare i progressi futuri.