Interpretazione spettrale-spaziale

Abstract degli autori

Le spiegazioni delle immagini elaborate a posteriori mostrano di solito dove guarda un modello tramite mappe di calore spaziali, oppure indicano quali canali contano attraverso punteggi globali. Per i dati multispettrali, queste due prospettive separate sono limitanti: la rilevanza di un canale è spesso localizzata nello spazio e ha un significato fisico. Presentiamo Spectral-Spatial Interpretation (SSI), un metodo di attribuzione sull’intera griglia basato su elementi posizione-canale (g,c). Per ogni posizione spaziale, SSI mantiene fisso il contesto circostante osservato, definisce un gioco condizionale sui canali in quella posizione e applica a questo gioco locale il valore di Shapley. Il risultato è una matrice completa di attribuzioni spettrali e spaziali, anziché un’unica mappa di calore o una classifica globale dei canali. SSI ha una chiara interpretazione locale. Soddisfa il criterio di equità di Shapley all’interno di ogni posizione e, aggregando le attribuzioni dei suoi canali, si ricava esattamente il contrasto contestuale a livello di posizione ottenuto sostituendo quella posizione con la baseline. SSI si distingue inoltre dalla contabilizzazione gerarchica in stile Owen mediata sui contesti: pur usando lo stesso raggruppamento posizione-canale, quest’ultima calcola la media su coalizioni spaziali esterne. Su HLS Burn Scar, SSI supera uno stimatore MC-Owen nelle metriche di attribuzione mantenuta, usando soltanto circa il 6% del suo budget di valutazione. Su CUB-200, EuroSAT e HLS Burn Scar, usando come baseline sia la media per canale sia lo zero, SSI ottiene la migliore AUC congiunta di cancellazione e inserimento rispetto alle baseline dense, piatte e di rango 1, i più alti tassi di corrispondenza spettrale e i migliori risultati nella cancellazione dei canali, e primeggia nella localizzazione spaziale su entrambi i dataset annotati. Il codice è disponibile all’indirizzo https://github.com/AtheavenMa/Spectral-Spatial-Interpretation.