MESSENGER: stima sequenziale del flusso di scena potenziata dalla memoria tramite previsione autoregressiva del fotogramma successivo

Abstract degli autori

Il flusso di scena consente di rilevare gli spostamenti 3D del moto a basso livello in scenari dinamici. I primi metodi di stima basati su coppie di fotogrammi, che si affidano al moto istantaneo tra due fotogrammi, non colgono le correlazioni temporali a lungo termine e hanno anche una scarsa capacità di estrapolazione nelle previsioni future. Sebbene alcuni metodi recenti tentino di stimare il flusso di scena su più fotogrammi con un approccio sequence-to-sequence, in genere comportano un elevato costo computazionale all’aumentare dei fotogrammi in ingresso e producono previsioni peggiori su orizzonti temporali lunghi a causa di una propagazione inefficace del moto. Per affrontare questi problemi proponiamo MESSENGER, una nuova pipeline sequenziale per la stima del flusso di scena potenziata dalla memoria. Per sfruttare appieno le dipendenze temporali a lungo termine presenti nelle sequenze consecutive, abbiamo progettato un buffer di memoria che conserva esplicitamente più stime passate del flusso e stati latenti. Per ogni fotogramma in ingresso, i flussi e gli stati memorizzati nel tempo vengono messi in correlazione e recuperati per prevedere il flusso inizializzato del fotogramma corrente secondo un approccio di previsione del fotogramma successivo. Abbiamo inoltre sviluppato un modulo di ripesatura che tiene conto dell’incertezza, per filtrare i risultati del recupero inaffidabili e attenuare gli errori accumulati. Esperimenti approfonditi su nuScenes e Argoverse 2 dimostrano che MESSENGER raggiunge prestazioni allo stato dell’arte, riducendo l’EPE3D del 71,6% su nuScenes e del 67,7% su Argoverse 2 nell’estrapolazione del futuro su orizzonti temporali lunghi. Questo vantaggio è attribuibile al paradigma di previsione autoregressiva che abbiamo progettato, che induce naturalmente la rete ad apprendere progressivamente la distribuzione del fotogramma successivo sulla base delle osservazioni passate. Il codice sarà pubblicato all’indirizzo https://github.com/liujiuming123/Messenger.