Cucitura video da più telecamere in movimento

Abstract degli autori

Affrontiamo l’allineamento geometrico di video relativi alla stessa scena, ripresa da più telecamere in movimento libero. I metodi esistenti, basati sulla cucitura delle immagini o sulla stabilizzazione video, sono in genere limitati a due telecamere oppure presuppongono la condizione restrittiva che le telecamere siano disposte secondo un ordine lineare fisso. Proponiamo MViS, un framework leggero di ottimizzazione in fase di test per l’allineamento congiunto di più viste, con coerenza temporale. MViS usa una rete ispirata agli spatial transformer per elaborare congiuntamente i fotogrammi di tutte le viste all’interno di una breve finestra temporale e prevedere omografie per ogni vista e istante. L’ottimizzazione si svolge in due fasi: allineamento guidato dalla geometria, seguito da un perfezionamento basato sull’aspetto; entrambe impongono coerenza tra più viste e nel tempo lungo la sequenza. Il metodo non richiede la regolazione di iperparametri specifici per la scena, gestisce grafi di intersezione tra viste arbitrari e variabili nel tempo e resta robusto anche quando la telecamera si muove rapidamente. Su un benchmark standard per video a due viste, MViS eguaglia o supera lo stato dell’arte. Per agevolare la valutazione in scenari più complessi, presentiamo un dataset annotato con più di due telecamere in movimento libero e definiamo il primo benchmark per questa configurazione. Pagina del progetto: https://bgu-cs-vil.github.io/MViS-project/ .