Inpainting 3D feed-forward senza pose tramite Learnable Mask Attention e Support Token Refinement

Abstract degli autori

L’inpainting delle scene 3D mira a ricostruire le regioni mancanti o occluse nelle scene 3D modificate, garantendo la coerenza della geometria e delle texture. Gli approcci esistenti, tuttavia, richiedono in genere pose delle fotocamere calibrate con precisione: questo ne limita l’applicabilità in contesti informali e non controllati e comporta ulteriori operazioni preliminari. Per superare questo limite, presentiamo FreeInpaint, un nuovo framework feed-forward che genera scene complete e coerenti in 3D direttamente da immagini multivista con regioni mascherate, senza conoscere le pose delle fotocamere. FreeInpaint estende un modello di base per il 3D affinché propaghi le regioni mascherate da una vista di riferimento alle altre viste prive di pose note. Collega così la ricostruzione 3D all’inpainting delle scene, preservando la capacità originaria del modello di ricostruire le pose delle fotocamere e la geometria della scena. Il nostro metodo affronta due sfide fondamentali nell’adattare i modelli di base 3D feed-forward a immagini con regioni mascherate. In primo luogo, tali regioni possono compromettere la capacità di individuare le corrispondenze tra le viste, peggiorando la stima delle pose e la ricostruzione della geometria. Per affrontare questo problema, introduciamo un meccanismo di Learnable Mask Attention che mantiene l’ancoraggio spaziale delle osservazioni affidabili, consentendo al contempo alle regioni mascherate di assimilare progressivamente informazioni contestuali utili negli strati più profondi. In secondo luogo, in presenza di occlusioni estese, un’unica passata spesso non fornisce informazioni sufficienti sull’aspetto della scena per completarla con alta fedeltà. Proponiamo quindi una strategia di Support Token Refinement, che introduce informazioni di supporto generate mediante diffusione sotto forma di token ausiliari ponderati in base al grado di affidabilità, per perfezionare le regioni osservate in modo insufficiente preservando l’ancoraggio spaziale originale. Esperimenti approfonditi su diversi dataset dimostrano che FreeInpaint offre una qualità dell’inpainting superiore, elimina la necessità di pose delle fotocamere calcolate in anticipo e mantiene un’elevata velocità di inferenza. La pagina del progetto è https://rorisis.github.io/FreeInpaint/.