Sintesi di dati sui cambiamenti guidata da conoscenze del mondo reale per il telerilevamento

Abstract degli autori

La sintesi di dati sui cambiamenti offre una soluzione economica per ampliare i dati di addestramento e migliorare le prestazioni dei modelli di rilevamento dei cambiamenti. Tuttavia, i metodi di sintesi esistenti si basano in genere su regole definite manualmente per simulare i cambiamenti: la copertura limitata delle transizioni tra classi riduce la varietà dei dati sintetizzati, mentre le transizioni predefinite ne limitano la flessibilità nell’adattarsi a diversi tipi di cambiamento. In questo lavoro presentiamo KnowChange, un framework per la sintesi di dati sui cambiamenti guidato dalla conoscenza, che utilizza modelli visione-linguaggio preaddestrati come fonti di conoscenza per individuare, a partire dalle scene precedenti al cambiamento e dai tipi di cambiamento desiderati, le posizioni e le transizioni tra classi plausibili. Integrando una simulazione dei cambiamenti guidata dalla conoscenza con modelli di sintesi generalizzabili, KnowChange consente di sintetizzare in modo flessibile diversi tipi di cambiamento all’interno di un unico framework. Esperimenti approfonditi dimostrano che i dati generati da KnowChange superano costantemente i dataset sintetici esistenti sia nel trasferimento dal sintetico al reale sia nell’aumento dei dati tramite dati sintetici, pur essendo generati su scala contenuta. Ulteriori analisi mostrano che la simulazione dei cambiamenti guidata dalla conoscenza può essere integrata senza difficoltà nelle pipeline di sintesi esistenti e migliorare l’utilità dei dati sintetizzati nelle applicazioni successive.