OneScene-Bench: i modelli di visione e linguaggio integrano le evidenze tra diverse viste?

Abstract degli autori

I modelli di visione e linguaggio (VLM) elaborano sempre più spesso più viste della stessa scena, ma non è ancora chiaro se integrino queste osservazioni in una rappresentazione coerente a livello di scena. Le valutazioni esistenti con più immagini non isolano questa capacità, perché alcuni compiti possono essere risolti correttamente elaborando ogni vista in modo indipendente, senza richiedere corrispondenze tra le viste. Presentiamo OneScene-Bench, un benchmark controllato progettato per distinguere esplicitamente i casi in cui è necessaria l’integrazione tra viste. Il benchmark valuta tre capacità complementari su scene reali riprese da più punti di vista: il conteggio degli oggetti distinti, la coerenza tra viste e il ragionamento spaziale. Per il conteggio, controlliamo la sovrapposizione degli oggetti tra le viste, distinguendo i casi risolvibili con una semplice aggregazione dei risultati ottenuti per ciascuna vista da quelli che richiedono corrispondenze a livello di singolo oggetto. Per valutare la coerenza, introduciamo modifiche localizzate in regioni condivise e in regioni specifiche di ciascuna vista, verificando se i modelli distinguono le contraddizioni effettive nella scena dalle differenze dovute al punto di vista e alla visibilità. Per il ragionamento spaziale, costruiamo relazioni tra oggetti che richiedono di combinare evidenze spaziali da diversi punti di vista per confrontare la vicinanza fisica. Valutiamo dodici VLM all’avanguardia, a pesi aperti e proprietari, e rileviamo che l’accuratezza nel conteggio scende notevolmente sulle viste complementari, attestandosi tra il 4,5% e il 50,0%, rispetto al 45,5%-81,5% degli esempi con sovrapposizione completa. Inoltre, la coerenza tra viste si mantiene intorno al 50% nei diversi modelli, compresi i recenti VLM proprietari, nonostante prestazioni nettamente superiori nel ragionamento spaziale. I risultati rivelano un divario considerevole tra l’elaborazione di più immagini e l’integrazione delle evidenze che contengono, evidenziando la necessità di valutazioni che mettano alla prova in modo esplicito la comprensione di scene da più viste a livello di scena. Codice e dati sono disponibili all’indirizzo https://github.com/swathisuhas/OneScene-Bench.