PnP-Transformer: un risolutore neurale per la stima della posa 6D degli oggetti

Abstract degli autori

Presentiamo PnP-Transformer, un risolutore neurale della posa progettato come alternativa differenziabile e senza iterazioni ai classici algoritmi PnP-RANSAC. PnP-Transformer stima la posa 6D dell’oggetto elaborando campi di corrispondenze 2D-3D semidense predetti insieme a punteggi di affidabilità, e mappando al contempo gli input geometrici in uno spazio latente continuo. Per valutarne l’utilità pratica, integriamo PnP-Transformer in una pipeline zero-shot per la stima della posa 6D, in cui il modulo delle corrispondenze e il risolutore della posa vengono addestrati separatamente. Su sette dataset principali del benchmark BOP, PnP-Transformer ottiene un punteggio AR medio del 41,2% con una bassa latenza (0,46 s/obj), superando tutti i precedenti metodi di riferimento (come RayPose, con un AR del 39,1%) tranne uno (Co-op, con un AR del 58,4%). Sostituendo il risolutore della posa con EPnP-RANSAC (come in Co-op) e lasciando invariato il modulo delle corrispondenze, l’alternativa basata su RANSAC supera PnP-Transformer su sei dei sette dataset, raggiungendo un AR medio del 52,2% al costo di 60 ms in più per oggetto. Emerge così un compromesso tra accuratezza e latenza. Il codice e i modelli preaddestrati sono disponibili all’indirizzo: https://github.com/ebylmz/pnp-transformer