UniMetric: recupero universale della scala metrica per i modelli fondazionali di geometria visiva

Abstract degli autori

I recenti progressi dei modelli fondazionali multimodali, esemplificati da GPT-6 Astra, aprono la prospettiva di capacità generali di ragionamento e pianificazione per agenti incarnati. L’uso di video disponibili su Internet per il loro preaddestramento richiede annotazioni affidabili della scala fisica. Spesso, però, i modelli fondazionali di geometria visiva ricostruiscono la struttura della scena e il movimento della fotocamera senza una scala metrica affidabile. Mostriamo che le conoscenze a priori, pur incerte, sulle dimensioni di oggetti familiari possono imporre congiuntamente vincoli alla scala condivisa di una ricostruzione. Su questa base presentiamo UniMetric, un metodo universale per recuperare la scala metrica nei modelli fondazionali di geometria, che non richiede addestramento, sensori aggiuntivi né supervisione metrica specifica per il compito. In particolare, Metric Prior Acquisition ricava da un modello visivo-linguistico intervalli di altezza degli oggetti. Semantic-Geometric Alignment misura, in ogni fotogramma, le altezze degli oggetti ricostruiti lungo la normale stimata alla superficie di appoggio e converte le conoscenze a priori in intervalli di scala. Global Scale Recovery concilia questi intervalli mediante una funzione obiettivo convessa, ottenendo una scala compatibile con tutti gli intervalli quando si sovrappongono e un unico compromesso in caso contrario. La scala stimata per l’intera sequenza viene applicata uniformemente ai punti ricostruiti e alle traslazioni della fotocamera. Esperimenti controllati con conoscenze a priori reali fornite da modelli visivo-linguistici mostrano che combinare le osservazioni migliora l’accuratezza della scala quando le altezze relative degli oggetti sono esatte. Per valutare l’accuratezza metrica delle ricostruzioni dei modelli fondazionali di geometria senza allineamento alla scala di riferimento, introduciamo MetricBench, che comprende dodici sottoinsiemi relativi ad agenti incarnati, alla guida e ad ambienti a bordo strada, con dati di riferimento ricavati da sensori. Su nove modelli fondazionali di geometria, UniMetric riduce in media l’Abs Rel della profondità, la distanza di Chamfer delle ricostruzioni e l’errore di traiettoria rispettivamente del 54,2%, dell’83,8% e del 65,6%, migliorando ogni modello in tutti e tre i compiti sull’intera suite. Rendiamo disponibili il codice di UniMetric e i dati di MetricBench.