WAPR: un modello fondazionale per il raffinamento ad ampio angolo nella stima della posa di oggetti mai visti

Abstract degli autori

Le applicazioni nel mondo reale richiedono che la stima della posa 6D sia accurata, rapida e scalabile a oggetti mai visti. Questo articolo presenta WAPR, un modello zero-shot di affinamento della posa ad ampio angolo che corregge pose candidate con deviazioni di rotazione fino a 90 gradi. Con appena 12 pose candidate per ogni istanza di oggetto rilevata, WAPR consente un’inferenza rapida, entro 1 s per fotogramma, e raggiunge una capacità di stima della posa fino a 25 istanze di oggetti rilevate al secondo. Per consentire l’addestramento ad ampio angolo su oggetti simmetrici rispetto alla rotazione, WAPR usa informazioni a priori sulle simmetrie rotazionali per rendere canoniche le pose bersaglio equivalenti per simmetria prima di calcolare la funzione di perdita. Costruiamo inoltre SA6D, un dataset su larga scala per l’addestramento alla stima della posa 6D che include tali informazioni a priori. SA6D ottiene, con l’ausilio di KASAL, informazioni a priori sulle simmetrie rotazionali per 944 scansioni GSO e le amplia mediante tecniche di aumento dei dati basate su geometria e texture, arrivando a circa 50K istanze di oggetti aumentate e circa 2M immagini RGB-D renderizzate. Inoltre, una funzione di perdita bilanciata rispetto all’angolo stabilizza l’apprendimento nei diversi intervalli angolari riducendo l’influenza dei casi con errori elevati che non forniscono informazioni utili. Esperimenti su sette dataset principali di BOP mostrano che WAPR raggiunge prestazioni allo stato dell’arte nella localizzazione e nel rilevamento della posa 6D di oggetti mai visti, sia con inferenza rapida sia con inferenza senza vincoli. Pagina del progetto: https://github.com/WangYuLin-SEU/WAPR.