NAMVIS: sintesi autoregressiva di immagini multivista per scale successive

Abstract degli autori

La sintesi di nuove viste a partire da poche viste è un problema centrale nella creazione di contenuti 3D, ma gli approcci basati sulla diffusione restano limitati dalla rimozione iterativa del rumore, che rende costosa la generazione multivista durante l’inferenza. Presentiamo NAMVIS, un framework senza diffusione che riformula la sintesi di immagini multivista come un’autoregressione tra scale successive condizionata dalla geometria. Anziché generare le viste di destinazione attraverso ripetuti passaggi di rimozione del rumore, NAMVIS predice token visivi discreti in un numero ridotto di passaggi dalla scala più grossolana alla più fine, campionando in parallelo tutti i token all’interno di ciascuna scala e tra le viste di destinazione. Per ancorare questo processo di generazione alla geometria esplicita delle camere, proponiamo Multi-scale Projective Pose Encoding, che integra le trasformazioni delle camere sorgente e di destinazione sia nella self-attention delle viste di destinazione sia nella cross-attention dalla sorgente alla destinazione, a ogni risoluzione. NAMVIS combina inoltre un condizionamento globale con una cross-attention densa che tiene conto della geometria, consentendo al modello di preservare l’aspetto della vista sorgente e, al tempo stesso, di mantenere la coerenza delle viste di destinazione. Su Objaverse, GSO e OmniObject3D, NAMVIS supera i modelli di riferimento basati sulla diffusione in termini di PSNR, SSIM e LPIPS, risultando oltre 3 volte più veloce dei modelli di riferimento basati sulla diffusione valutati nelle stesse condizioni. Questi risultati suggeriscono che l’autoregressione tra scale successive condizionata dalla geometria sia un’alternativa promettente ed efficiente alla diffusione per la sintesi multivista a partire da poche viste. Ulteriori risultati qualitativi, video e risorse sono disponibili all’indirizzo https://corl-team.github.io/namvis/