Quando la profondità inganna: valutazione comparativa dei modelli visione-linguaggio sull’ambiguità RGB-D indotta dagli specchi

Abstract degli autori

I modelli visione-linguaggio (VLM) hanno compiuto notevoli progressi nel ragionamento spaziale, in particolare integrando immagini RGB con dati di profondità, che spesso si presume riflettano fedelmente le distanze fisiche. Gli specchi, tuttavia, violano questa presunzione: alterano le letture della profondità pur riproducendo l’aspetto degli oggetti, rendendo difficile distinguere i riflessi dagli oggetti reali. Poiché i benchmark esistenti considerano raramente scenari con superfici riflettenti, le prestazioni dei VLM nelle scene con specchi restano in gran parte inesplorate. In questo lavoro presentiamo un dataset RGB-D incentrato sugli specchi, composto da scene con superfici riflettenti, per valutare le capacità di ragionamento spaziale dei VLM all’avanguardia in questi scenari. Nello specifico, raccogliamo 1.011 immagini RGB-D provenienti da 525 scene del mondo reale, che spaziano tra diversi ambienti interni ed esterni, sei tipi di superfici riflettenti e condizioni sia diurne sia notturne. Tutte le immagini sono corredate da maschere delle regioni delle superfici riflettenti e da annotazioni con maschere degli oggetti osservati direttamente e di quelli riflessi negli specchi. Realizziamo quindi un benchmark denominato MIRA-Bench (Mirror-Induced Reasoning Ambiguity Benchmark), composto da 14.140 coppie domanda-risposta suddivise in otto sotto-compiti, organizzati in tre livelli cognitivi: percezione consapevole dei riflessi, ragionamento spaziale e processo decisionale a livello di scena. Valutiamo i VLM all’avanguardia su MIRA-Bench e riscontriamo errori sistematici nei diversi compiti: i modelli classificano erroneamente gli oggetti come osservati direttamente o riflessi, non riescono ad associare le istanze riflesse alle loro controparti nel mondo reale e producono inferenze spaziali errate. È significativo che fornire dati di profondità peggiori effettivamente le prestazioni di ragionamento, il che suggerisce che i VLM non sono in grado di individuare le letture di profondità errate nelle scene con specchi. Il codice e i dati sono disponibili all’indirizzo https://github.com/EvaYin-cloud/MIRA-Bench