PCDFusion: rendering bayesiano basato su proposte, contesto e dettagli per la fusione di immagini infrarosse e visibili

Abstract degli autori

La fusione di immagini infrarosse e visibili (IVIF) mira a combinare osservazioni nel visibile e nell’infrarosso termico per la percezione umana e le successive attività di visione artificiale. Le osservazioni nel visibile e nell’infrarosso termico sono fisicamente complementari, ma presentano limiti di affidabilità diversi. I metodi di IVIF basati sul deep learning migliorano soprattutto l’interazione tra le caratteristiche e la ricostruzione, ma spesso non dispongono di una regola locale esplicita per decidere quando debba prevalere l’aspetto dell’immagine visibile e quando debbano contribuire le risposte termiche. Per affrontare questo problema, riformuliamo l’IVIF come un rendering locale basato sulla distribuzione a posteriori bayesiana, in cui la fusione è controllata dai pesi a posteriori delle azioni anziché dalla combinazione diretta delle modalità. In questo articolo proponiamo Proposal-Context-Detail Fusion (PCDFusion), un metodo ancorato all’immagine visibile che realizza questa formulazione attraverso tre fasi di rendering. PCDFusion conserva le risposte termiche potenzialmente utili, aggiorna le regioni dell’immagine visibile compromesse dall’esposizione e incorpora nella luminanza finale strutture infrarosse affidabili a banda limitata. Numerosi esperimenti su benchmark pubblici di IVIF mostrano che PCDFusion migliora la qualità della fusione, il recupero dei bersagli e le prestazioni delle successive attività di rilevamento e segmentazione in condizioni di illuminazione difficili. Il codice è disponibile all’indirizzo https://github.com/BIT-RuiLiu/PCDFusion.git.