Cropland PAtteRNS: reti di attenzione dimensionale parallela e attenzione alle disparità tra dataset per la segmentazione delle colture nelle serie temporali di immagini satellitari

Abstract degli autori

Il panorama dei dataset di serie temporali di immagini satellitari e delle architetture all’avanguardia per la segmentazione delle colture non è mai stato così ricco. In questa corsa, però, la ricerca dei concetti più innovativi o dei dataset più grandi fa passare in secondo piano dettagli importanti su entrambi i fronti. In questo articolo presentiamo il nostro modello ibrido transformer-convoluzionale, Cropland Parallel Attention and Refinement Network for Segmentation (PAtteRNS), il primo a usare meccanismi di autoattenzione separati per gli aspetti temporali, spettrali e spaziali dei dati SITS multispettrali di Sentinel-2. Per ottenere un’attenzione completamente fattorizzata nel modello proposto, introduciamo una nuova architettura transformer parallela che riduce significativamente la complessità computazionale dell’autoattenzione fattorizzata in tre dimensioni. Convalidiamo l’architettura attraverso un approfondito studio di ablazione e analizziamo le prestazioni del modello rispetto a quelle dei modelli più avanzati per la segmentazione delle colture, usando più varianti dei noti dataset PASTIS e MTLCC con tile di dimensioni diverse. I risultati mostrano che il nostro modello supera tutti gli altri nella segmentazione delle classi di colture, come confermano diverse importanti metriche di segmentazione. Il vantaggio rispetto ai modelli confrontati è particolarmente marcato nella qualità della delimitazione delle parcelle, un aspetto di cui spesso si dà poco conto e che misuriamo con la metrica Boundary IoU. Rileviamo inoltre che raggruppamenti errati delle classi all’interno dei dataset possono incidere negativamente in misura significativa sulle prestazioni dei modelli. Segnaliamo anche che varianti dei dataset per la segmentazione delle colture con tile di dimensioni diverse producono risultati non confrontabili tra loro, impedendo un confronto equo delle prestazioni di modelli addestrati con tile di dimensioni diverse. Alla luce di questi risultati, riteniamo necessario proseguire il lavoro per standardizzare le buone pratiche nella costruzione dei dataset SITS per la segmentazione delle colture e rendere possibile in futuro il dimensionamento dinamico dei tile per ottenere prestazioni ideali dei modelli.