HRoPE: codifica posizionale relativa basata sulle omografie

Abstract degli autori

La codifica posizionale relativa geometrica è diventata il principale meccanismo per introdurre nei transformer multi-vista bias induttivi spaziali. Le soluzioni esistenti condizionano l’attenzione in base ai tronchi di piramide delle fotocamere o alla profondità calcolata tramite ray marching, associando i token di viste diverse attraverso la geometria dei sensori. Queste formulazioni, incentrate sui sensori, descrivono però soltanto da dove viene osservato un token, senza rappresentare la ricca geometria delle superfici della regione di scena raffigurata dal token. In questo articolo proponiamo di passare a una codifica posizionale consapevole delle superfici, che ancori esplicitamente i token delle patch alla geometria delle superfici fisiche. Introduciamo HRoPE, che rappresenta la geometria locale di ogni patch come un piano 3D inclinato, secondo l’ipotesi delle finestre di supporto inclinate della stereoscopia multi-vista classica. Introduciamo nell’attenzione, sotto forma di trasformazioni relative, omografie indotte dai piani a livello di singolo token. Questo fornisce al transformer un prior geometrico per correggere le distorsioni prospettiche e allineare le caratteristiche delle patch tra punti di vista diversi. La nostra codifica non richiede una geometria di riferimento: i parametri dei piani possono essere predetti end-to-end usando come unico obiettivo la sintesi di viste, oppure ricavati da foundation model. Esperimenti approfonditi su RealEstate10K, CO3Dv2 e DL3DV mostrano che la nostra migliore variante di HRoPE supera sistematicamente le codifiche posizionali geometriche valutate nella sintesi di nuove viste. Ampi studi di ablazione e analisi mostrano l’efficacia della codifica proposta. Si rimanda alla pagina del progetto: https://gaohchen.github.io/HRoPE