MvFFN: rete feed-forward multivista per la ricostruzione della planimetria di panorami senza posa a baseline ampia

Abstract degli autori

Ricostruire pose precise delle telecamere e planimetrie a partire da panorami RGB radi, privi di pose e con ampia baseline resta un problema aperto e complesso. In questo scenario, la predizione diretta di planimetrie con più stanze è particolarmente difficile: pose, geometria, semantica e struttura globale della planimetria sono strettamente interconnesse, eppure è difficile apprendere una planimetria completa come singolo output globale. La nostra intuizione chiave è mantenere le predizioni del modello rigorosamente locali. La Multi-view Ordered Wall Instance Segmentation (MOIS) è progettata attorno a questo concetto. Ogni colonna del panorama predice soltanto la parete che osserva e le due pareti adiacenti successive in senso orario. La partizione globale delle pareti, le planimetrie delle stanze e le coordinate condivise emergono dall’aggregazione deterministica di predizioni locali sovrapposte. Basandoci su MOIS, proponiamo la Multi-view floor-plan Feed-Forward Network (MvFFN), che predice congiuntamente pose approssimative delle telecamere, geometria globale densa e output semantici per ciascuna parete. Una successiva pipeline di post-processing Layout Chaining (LC) assembla quindi queste predizioni in planimetrie con più stanze, dotate di coordinate globali condivise, identità delle pareti coerenti e una struttura connessa delle stanze. Le predizioni dense di MOIS recuperano l’identità delle pareti tra le viste e la connettività locale all’interno delle stanze con maggiore accuratezza rispetto alle baseline modulari composte, mentre le planimetrie assemblate superano nettamente i metodi precedenti in termini di accuratezza a livello di parete e di giunzione. Introduciamo inoltre il dataset ZInD-CrossView, che arricchisce ZInD con istanze di pareti univoche a livello globale ed etichette di segmentazione tra viste per questo compito.