Foundation4D: verso un modello unificato di percezione e ricostruzione per i veicoli autonomi

Abstract degli autori

Presentiamo Foundation4D, un modello feed-forward unificato che, a partire da video di guida acquisiti da più telecamere, stima la geometria, rileva oggetti in 3D, determina l’occupazione semantica e produce una ricostruzione gaussiana. Un backbone condiviso impiega un’attenzione spazio-temporale fattorizzata per combinare in modo efficiente le osservazioni provenienti da telecamere e istanti diversi. La nostra pipeline di inferenza sui video usa l’ottimizzazione del grafo delle pose per affinare le traiettorie delle telecamere e collega le tracce degli oggetti tra le finestre di input. Sviluppiamo inoltre una pipeline per l’annotazione dei dati e rendiamo disponibile PAI-Foundation4D, un benchmark con etichette dense di profondità e occupazione semantica per 1.253 clip di guida. Con un fine-tuning specifico per ciascun benchmark, Foundation4D ottiene, tra i metodi confrontati, il valore più basso di AbsRel per la profondità su Waymo e nuScenes, la mAP più alta per il rilevamento su nuScenes e la mIoU più alta per l’occupazione su OpenOccupancy. Il nostro studio sulla combinazione dei compiti mostra vantaggi sia per il rilevamento sia per la geometria: addestrare congiuntamente il rilevamento, la geometria e l’occupazione migliora di 1,2 punti la mAP delle classi principali rispetto all’addestramento del solo rilevamento, mentre addestrare congiuntamente la geometria e il rilevamento riduce l’errore di traslazione tra telecamera e rig del $13.4\%$ rispetto all’addestramento della sola geometria. Usiamo inoltre la geometria e le traiettorie previste come informazioni a priori per NuRec senza lidar, a supporto della ricostruzione di scene di guida per la simulazione.