F2G-Pose: lifting delle feature dei modelli fondazionali guidato dalla geometria per la stima diretta della posa degli oggetti a livello di categoria da RGB-D

Abstract degli autori

Questo lavoro studia la stima della posa degli oggetti a livello di categoria da dati RGB-D, che permette di ricostruire la rotazione e la traslazione 3D di un oggetto senza modelli CAD o viste di riferimento specifici dell’esemplare. Il compito è molto ambiguo a causa delle variazioni all’interno della stessa classe, delle simmetrie e delle osservazioni parziali. Le soluzioni attuali faticano a conciliare affidabilità ed efficienza: i metodi basati su strutture intermedie sono soggetti alla propagazione degli errori, mentre i modelli di diffusione richiedono molto tempo per l’inferenza e una complessa estrazione dei candidati a posteriori. Per affrontare il problema, presentiamo F2G-Pose, un framework diretto, in tempo reale e a passaggio unico che, da una sola osservazione RGB-D, predice la posa a livello di categoria, le dimensioni metriche e la forma completata nel sistema di riferimento della fotocamera con un’unica elaborazione feed-forward. F2G-Pose trasferisce le feature visive dense dei modelli fondazionali a nuvole di punti parziali, codifica la geometria locale mediante la tokenizzazione con DGCNN e integra la struttura a livello di oggetto con un Transformer Mixture-of-Experts. La previsione congiunta delle dimensioni e il completamento della forma nel sistema di riferimento della fotocamera favoriscono la coerenza metrica attraverso una supervisione geometrica densa. Con la sua rete specifica per il compito addestrata soltanto sui dati sintetici SOPE annotati con la posa e il suo backbone RADIO congelato e preaddestrato esternamente, F2G-Pose raggiunge un’accuratezza allo stato dell’arte su SOPE e ROPE, operando a 28 FPS nell’inferenza della sola posa. Mostra inoltre risultati solidi nella ricostruzione della geometria nel sistema di riferimento della fotocamera su HouseCat6D e nel trasferimento a oggetti reali su HANDAL. Le analisi di latenza, robustezza, completamento della forma e comportamento dei candidati di GenPose++ dimostrano ulteriormente l’efficienza e l’affidabilità di F2G-Pose, mentre gli esperimenti di manipolazione nel mondo reale ne mostrano il potenziale di impiego con input RGB-D segmentati. La pagina del progetto, il codice e i modelli preaddestrati sono disponibili all’indirizzo https://jrryzh.github.io/F2G-Pose/.