ProMo3D: sondare gli indizi di movimento nei modelli fondazionali 3D congelati

Abstract degli autori

I modelli fondazionali 3D feed-forward hanno recentemente trasformato la ricostruzione multivista, ma la comprensione delle dinamiche 4D si basa ancora spesso su grandi quantità di dati di supervisione del movimento o su euristiche progettate a mano e specifiche per ciascuna architettura. Ci chiediamo se i token dei modelli fondazionali 3D congelati codifichino già informazioni rilevanti per il movimento, che possano essere estratte con funzioni di lettura leggere, anziché apprendere nuovamente caratteristiche specifiche del movimento con decoder ad alta capacità. Sondando tre backbone rappresentativi, scopriamo che le rappresentazioni dei token congelati consentono di distinguere gli elementi statici da quelli dinamici. Le nostre analisi a rango limitato e spettrali su $π^3$X rivelano che gli indizi di movimento recuperati si concentrano in un sottospazio a bassa dimensionalità. Su questa base proponiamo Probing-based Motion Distillation (PMD), che trasforma i punteggi di compatibilità a coppie degli stati di movimento rispetto a un token di ancoraggio fisso in maschere dense del movimento. Addestrato su appena 160 video di YouTube-VOS con una sola GPU da 16 GB, PMD si trasferisce in modalità zero-shot a DAVIS, SegTrackv2 e FBMS-59 senza fine-tuning sui benchmark di destinazione. Con backbone geometrici preaddestrati su più viste, PMD supera le euristiche che non richiedono addestramento e si avvicina a metodi supervisionati e autosupervisionati molto più onerosi, suggerendo che estrarre il movimento dai modelli fondazionali 3D congelati può richiedere poche risorse ed essere efficiente nell’uso dei dati.