Completamento semantico generativo delle scene

Abstract degli autori

Il completamento semantico delle scene (SSC) da LiDAR in ambienti esterni ricostruisce una griglia densa di voxel semantici a partire da una scansione che osserva l’1% del volume bersaglio, in presenza di uno squilibrio tra le classi superiore a 7.000 volte. Riformuliamo l’SSC come completamento semantico generativo delle scene (GSSC), usando un’unica formulazione basata sulla diffusione discreta in tre ruoli. Primo, la sintesi di coppie di scene sparse e dense (PS$^3$) genera osservazioni LiDAR sparse abbinate ai rispettivi completamenti semantici densi, affrontando alla radice la distribuzione a coda lunga e producendo il corpus PS$^3$-SemanticKITTI, che usiamo per l’addestramento insieme a SemanticKITTI. Secondo, il completamento generativo delle scene guidato dalla semantica (SGSC) genera la scena a partire dal rumore mediante diffusione discreta multinomiale, condizionata alla scansione sparsa attraverso una mappa semantica con vista dall’alto e un flusso sparso di caratteristiche 3D. Terzo, lo stesso framework può invece perfezionare un completamento esistente in un solo passaggio di flow matching: la diffusione discreta da una sorgente strutturata (S$^2$D$^2$). S$^2$D$^2$ migliora la mIoU sia dell’output di SGSC sia di ogni modello di base SSC esterno testato, senza riaddestrare il modello di base né adattarlo in fase di test. Sul modello di base più efficace, un solo passaggio senza augmentation in fase di test raggiunge una mIoU del 38,8% nel test nascosto di SemanticKITTI. Per quanto ne sappiamo, è il miglior risultato nella classifica ottenuto in modalità causale, con una singola scansione e un singolo campione: 2,1 punti percentuali in più rispetto al miglior punteggio pubblicato in precedenza con le stesse restrizioni. Quattro passaggi di correzione con augmentation a otto viste in fase di test raggiungono il 39,2%, al di fuori di tali restrizioni.