I modelli di visione apprendono i vincoli fisici o scorciatoie di rendering? Un benchmark controfattuale per la coerenza fisica ancorata alla scena

Abstract degli autori

I moderni modelli di editing delle immagini possono soddisfare un’istruzione testuale violando le leggi fisiche della scena modificata. Un nuovo oggetto può non proiettare alcuna ombra, uno specchio può non riflettere la geometria visibile, oppure un oggetto può fluttuare sopra una superficie che dovrebbe sostenerlo. Studiamo la diagnosi della plausibilità fisica: rilevare se un’immagine modificata viola le leggi fisiche della scena, identificare il tipo di violazione, localizzare la regione interessata e spiegare il problema a parole. Introduciamo un benchmark controfattuale la cui componente sintetica controllata usa Mitsuba~3 per generare 5.500 immagini da 500 famiglie di scene. Ogni famiglia comprende un’immagine priva di violazioni e dieci violazioni corrispondenti relative a ombre, riflessi, sostegno, risposta delle superfici e occlusione. La pipeline di rendering fornisce etichette di categoria, maschere e riquadri delle regioni interessate, metadati delle scene e spiegazioni di riferimento. Usiamo LLaVA-1.5-7B, Qwen2.5-VL-7B e InternVL3.5-8B come baseline diagnostiche, non come metodi proposti. Su un insieme di test sintetico di 1.650 immagini, le baseline adattate raggiungono un macro-F1 per categoria del 64,0--67,8\% su scene standard escluse dall’addestramento. Per LLaVA-1.5-7B, il macro-F1 per categoria scende dal 64,0\% nella suddivisione standard al 40,8\% quando cambiano gli interventi. Questo divario mostra che l’elevata accuratezza sui dati della stessa distribuzione riflette in parte indizi legati al rendering e alla costruzione dei controfattuali.