SemGeo-Gen: generazione non supervisionata di corrispondenze semantico-geometriche approssimate tra istanze

Abstract degli autori

Presentiamo SemGeo-Gen, un metodo non supervisionato per generare supervisione semantico-geometrica approssimata tra istanze a partire da raccolte di oggetti 3D debolmente allineati. Il nostro obiettivo non è ricostruire corrispondenze esatte a livello di punti, spesso ambigue tra istanze diverse e tali da richiedere, su larga scala, annotazioni manuali costose e impraticabili. Produciamo invece automaticamente corrispondenze approssimate che siano semanticamente significative, geometricamente coerenti e abbastanza diversificate da addestrare i moderni modelli di corrispondenza. Partendo soltanto da un allineamento approssimativo delle rotazioni a livello di categoria, SemGeo-Gen trasferisce in 3D le caratteristiche DINOv2 ricavate da più viste, allinea le istanze degli oggetti mediante una registrazione affine a tratti continua ed elimina le corrispondenze candidate in base alla coerenza semantica. Le corrispondenze 3D risultanti possono essere proiettate in viste renderizzate, fornendo supervisione 3D-3D, 3D-2D e 2D-2D scalabile senza annotazioni manuali. Confrontiamo le corrispondenze generate con le annotazioni umane sparse di KeypointNet, ottenendo il 93% di PCK@0,10 e il 97% di PCK@0,15. Ancora più importante, mostriamo che usare le corrispondenze generate per il preaddestramento su dati sintetici migliora le prestazioni dei recenti modelli all’avanguardia per la corrispondenza semantica su SPair-71k dopo il fine-tuning su dati reali, con incrementi fino a 5 punti PCK@0,10. Nel complesso, questi risultati indicano che la supervisione semantico-geometrica approssimata generata da risorse 3D può migliorare l’apprendimento delle corrispondenze tra immagini reali e offrire un’alternativa scalabile alle costose annotazioni manuali. Pagina del progetto: https://bgu-cs-vil.github.io/SemGeo-Gen/.