HiP3R: grafi gerarchici delle pose per la ricostruzione 3D su lunghi orizzonti temporali

Abstract degli autori

I modelli feed-forward stimano con precisione il movimento della camera e la geometria 3D a partire da brevi porzioni di video. Tuttavia, i costi computazionali e di memoria impediscono di applicarli direttamente a sequenze di migliaia di fotogrammi. I video lunghi devono quindi essere elaborati in segmenti sovrapposti. Questa suddivisione produce ricostruzioni locali indipendenti, con sistemi di coordinate incoerenti e stime duplicate delle camere in comune. Per ottenere una coerenza globale occorre propagare lungo la sequenza i vincoli derivanti dalle sovrapposizioni tra segmenti adiacenti e dai ritorni a luoghi già ripresi, anche molto distanti nel video. Questo requisito porta naturalmente a ottimizzare un grafo delle pose. La scelta del livello del grafo comporta però un compromesso. I grafi a livello dei segmenti correggono in modo efficiente la deriva della scala e chiudono loop ampi. Le loro trasformazioni rigide, tuttavia, non possono correggere gli errori interni né le stime discordanti dei singoli fotogrammi. L’ottimizzazione a livello dei fotogrammi offre invece flessibilità locale, ma estenderla all’intera sequenza è computazionalmente costoso e può compromettere la scala metrica. HiP3R supera questo compromesso usando un grafo gerarchico delle pose. HiP3R ottimizza prima un robusto grafo $\mathrm{Sim}(3)$ a livello dei segmenti per stabilire la disposizione globale e la scala. Mantiene poi fissa questa disposizione e stima una sola posa $\mathrm{SE}(3)$ condivisa della camera per ogni fotogramma, trasformando le stime delle finestre sovrapposte in un’unica traiettoria. Esperimenti condotti su diversi benchmark dimostrano l’efficacia di HiP3R nel migliorare le traiettorie delle camere e la ricostruzione 3D. Il nostro metodo si applica sia ai backend basati su segmenti sia a quelli in streaming, senza ulteriore addestramento o fine-tuning. I codici sono disponibili all’indirizzo https://kkakkkka.github.io/HiP3R.