Pumpire: benchmark unificato per la stima delle distanze metriche

Abstract degli autori

Presentiamo Pumpire, un benchmark unificato per valutare la capacità dei foundation model 3D, sia a livello di immagine sia a livello di video, di stimare la distanza metrica tra coppie di punti, con o senza informazioni a priori sulla profondità. A differenza degli approcci precedenti, che di norma valutano separatamente la profondità e i parametri intrinseci della fotocamera oppure valutano le nuvole di punti mediante metriche di somiglianza geometrica, senza poter riflettere direttamente la capacità dei modelli di stimare le distanze tra punti, Pumpire valuta direttamente tali distanze a partire dalla geometria ricostruita. A questo scopo, raccogliamo un dataset ampio e diversificato (pumpire-6k) che comprende 100 scene del mondo reale, ciascuna con distanze tra coppie di punti misurate fisicamente e 64 fotogrammi, per un totale di 6.400 fotogrammi. Su questo dataset definiamo un protocollo di valutazione completo, che comprende i foundation model 3D sia a livello di immagine sia a livello di video e consente di valutare direttamente gli errori nella stima delle distanze tra coppie di punti e di confrontare i risultati ottenuti in diverse condizioni. Conduciamo numerosi esperimenti su 29 configurazioni di riferimento di foundation model 3D rappresentativi e forniamo un’analisi approfondita dei risultati. Con questo benchmark puntiamo a valutare la capacità, più fondamentale, di percepire e stimare la scala fisica nello spazio 3D ricostruito, che i precedenti protocolli di valutazione hanno in larga misura trascurato. La pagina del progetto è disponibile all’indirizzo https://pumpire.github.io/