Recupero delle caratteristiche per comprendere gli oggetti dopo danni irreversibili causati dal fuoco

Abstract degli autori

Negli ambienti colpiti da un incendio, gli oggetti subiscono spesso trasformazioni fisiche irreversibili che ne alterano la geometria, lo stato dei materiali e l’aspetto visivo. Rilevare e identificare ciò che ne rimane è fondamentale per individuare i pericoli, ricostruire il contenuto degli ambienti prima dell’incendio e fare l’inventario delle perdite. A differenza delle comuni alterazioni delle immagini, questi danni riguardano la struttura fisica degli oggetti stessi. Per studiare questo scenario, presentiamo TRACE, un benchmark per la comprensione degli oggetti dopo un incendio che tiene conto delle trasformazioni subite. TRACE comprende 21,4K scene sintetiche basate su immagini reali e sequenze appaiate, a livello di singolo oggetto, che mostrano il passaggio dallo stato integro a quello degradato, per 499 identità di oggetti appartenenti a 189 categorie. Definiamo cinque compiti incentrati sulla localizzazione e sulla comprensione dello stato precedente al degrado: rilevamento degli oggetti degradati, recupero e ricerca dello stato integro, recupero del materiale originale, generazione di descrizioni dello stato integro e ragionamento funzionale. Le prestazioni dei modelli esistenti peggiorano nettamente all’aumentare della gravità del danno. Dal livello meno grave a quello più grave, la mAP di RF-DETR diminuisce del 71% in termini relativi, mentre l’R@1 di InternVL3.5 nella ricerca scende da 93,85 a 28,11. Per affrontare il problema, proponiamo il Feature Recovery Module (FRM), un modulo integrabile che trasforma le caratteristiche prodotte dall’encoder sugli oggetti degradati in rappresentazioni allineate a quelle degli oggetti integri, mantenendo invariato il modello ospite. Addestrato soltanto mediante supervisione su coppie di caratteristiche, FRM migliora il rilevamento a livello di scena, il recupero delle caratteristiche di CLIP/SigLIP2 e tutti e quattro i compiti a livello di oggetto per i modelli VLM, con progressi maggiori nei casi di degrado più grave. Considerando i diversi modelli VLM ospiti e livelli di gravità, i miglioramenti relativi sono in media del 12,5% per la ricerca, del 20,1% per il recupero del materiale, del 13,2% per la generazione di descrizioni e del 12,4% per il ragionamento funzionale.