LiFi: generazione di LiDAR da immagini multivista mediante guida collaborativa geometrica e semantica

Abstract degli autori

Generare nuvole di punti LiDAR da immagini acquisite con più telecamere è un compito utile per la sintesi controllabile di dati, la simulazione tra modalità diverse e varie attività di percezione. Tuttavia, la maggior parte dei metodi esistenti non è progettata specificamente per questo compito e la qualità dei dati LiDAR che genera resta limitata. Inoltre, questi metodi si concentrano in genere soltanto sugli indizi semantici presenti nelle immagini oppure generano dati LiDAR da un’immagine acquisita con una sola telecamera. In questo lavoro presentiamo LiFi (LiDAR From images), un framework dedicato alla generazione, da immagini acquisite con più telecamere, di scene LiDAR allineate sul piano visivo e geometrico. LiFi guida il processo di diffusione latente attraverso due rami complementari: geometria e semantica. Il ramo geometrico costruisce rappresentazioni della scena a partire dalle immagini mediante un algoritmo di campionamento inverso e un codificatore geometrico che tiene conto dell’incertezza, combinato con DepthAnything3. Il ramo semantico, invece, fornisce rappresentazioni semantiche di alto livello tramite un modulo di interazione tra viste. Introduciamo inoltre una strategia di guida senza classificatore (CFG) bilanciata a due rami, che migliora la capacità del modello di generare dati condizionati preservando l’apprendimento indipendente e la controllabilità collaborativa dei due rami. Numerosi esperimenti dimostrano che LiFi supera i metodi più avanzati nella generazione di scene LiDAR ad alta fedeltà. Il codice sarà disponibile pubblicamente all’indirizzo: https://github.com/szzhou88/LiFi.