RLSplat: controllo del budget a consumo di risorse lineare per lo splatting gaussiano 3D feed-forward

Abstract degli autori

Lo splatting gaussiano 3D feed-forward (FF3DGS) ricostruisce scene 3D a partire da immagini con un solo passaggio in avanti, risultando adatto alle applicazioni che devono operare con risorse limitate. Per renderlo ancora più pratico, i recenti metodi FF3DGS con budget regolabile consentono di modificare il numero di gaussiane durante l’inferenza, così che il risultato rispetti un dato limite di spazio di archiviazione o un vincolo sulla latenza del rendering. Questi metodi, però, trascurano il costo dell’inferenza stessa: per produrre una rappresentazione con il numero desiderato di gaussiane, ne predicono prima un insieme denso e poi lo riducono o vi effettuano una selezione. Richiedono quindi una latenza e un picco di memoria pressoché costanti, indipendentemente dal budget. Proponiamo perciò RLSplat, un framework FF3DGS con budget regolabile in cui le dimensioni della rappresentazione, la latenza dell’inferenza e il picco di memoria diminuiscono tutti linearmente al diminuire del budget di gaussiane. Anziché ricorrere alla riduzione o alla selezione, RLSplat apprende una politica di allocazione delle gaussiane che distribuisce il budget tra le regioni locali della scena, generando esattamente il numero di gaussiane richiesto. Queste gaussiane vengono poi perfezionate mediante una decodifica delle gaussiane a consumo di risorse lineare, in cui ciascuna gaussiana rivolge l’attenzione soltanto alle gaussiane vicine, individuate tramite un’efficiente ricerca gerarchica dei vicini. Il costo della decodifica diminuisce così linearmente quando si usano meno gaussiane. Nella valutazione zero-shot, RLSplat supera i precedenti metodi con budget regolabile a ogni livello di budget, ottenendo risultati migliori della baseline più forte anche con un numero di gaussiane 4$\times$ inferiore. Con budget ridotti, è inoltre fino a 4,1$\times$ più veloce e richiede un picco di memoria 9,6$\times$ inferiore.