Attention-DP3: policy di diffusione 3D consapevole degli oggetti nello spazio tramite condizionamento attentivo allineato alla geometria

Abstract degli autori

Le osservazioni basate su nuvole di punti 3D sono intrinsecamente ambigue nelle scene di manipolazione complesse e affollate, in cui gli oggetti bersaglio possono essere parzialmente occlusi o strettamente mescolati a elementi di disturbo visivamente simili. Di conseguenza, le policy di diffusione 3D standard spesso faticano a individuare e sfruttare la geometria rilevante per il compito man mano che aumenta la complessità della scena. Proponiamo \textbf{Attention-DP3}, una policy di diffusione 3D consapevole degli oggetti nello spazio che introduce indicazioni geometriche a livello di oggetto tramite l’attenzione, lasciando invariata l’architettura di diffusione di DP3. La nostra procedura esegue una segmentazione 2D a vocabolario aperto su immagini RGB, poi proietta in 3D le maschere previste per gli oggetti bersaglio usando la geometria calibrata della fotocamera, così da ottenere informazioni geometriche a priori centrate sugli oggetti. Integriamo queste indicazioni tramite Tri-field Attentional Conditioning, che costruisce tre campi complementari: (i) un campo di appartenenza all’oggetto bersaglio per ancorare quest’ultimo, (ii) un campo di salienza interno all’oggetto bersaglio per mettere in risalto la geometria rilevante per il compito al suo interno e (iii) un campo di appartenenza allo sfondo per attenuare gli elementi di disturbo e l’affollamento della scena. Gli esperimenti su Adroit, DexArt, MetaWorld e sulla piattaforma SO101 nel mondo reale mostrano miglioramenti costanti rispetto a DP3, con prestazioni allo stato dell’arte nei diversi benchmark. In particolare, all’aumentare degli oggetti di disturbo, le prestazioni di DP3 calano nettamente, mentre Attention-DP3 rimane stabile e supera DP3 fino al 31\% in scene molto affollate. Il codice è disponibile pubblicamente all’indirizzo https://github.com/zhangzhongbo2213/Attention-DP3.