SPLATIFY: riprodurre, scoprire, innovare. Dagli articoli e dalle idee al codice 3DGS addestrabile

Abstract degli autori

La rapida crescita della ricerca sul 3D Gaussian Splatting (3DGS) richiede un notevole lavoro di reimplementazione degli articoli prima di poter sviluppare nuove ricerche a partire da essi. Presentiamo SPLATIFY, un framework multi-agente che trasforma gli articoli sul 3DGS in implementazioni addestrabili basate su gsplat, laddove i metodi generici per passare dagli articoli al codice e i modelli più avanzati falliscono. SPLATIFY raggiunge questo risultato grazie a cinque innovazioni: (1) Una grammatica libera dal contesto per gsplat, basata su un template modulare per i metodi con punti di estensione per le funzioni di perdita, la densificazione, il rendering e l’ottimizzazione. La grammatica vincola la sintesi affinché il codice generato rispetti per costruzione gli invarianti architetturali di gsplat. (2) Elementi architetturali per una riproduzione fedele: recupero delle citazioni che tiene conto dei fork e reperisce il codice dei singoli componenti con granularità a livello di funzione; sintesi Graph-of-Thought nell’ordine topologico delle dipendenze; selezione di esempi in-context guidata dalla RAG a partire da oltre 20 implementazioni verificate; e feedback visivo che combina la rigenerazione guidata dal PSNR, controlli strutturali a livello di gaussiane e l’applicazione di patch guidata da VLM. (3) Miglioramento composizionale basato sulla conoscenza, che individua autonomamente i punti deboli e combina regolarizzatori, funzioni di perdita e strategie di densificazione complementari per migliorare i risultati originali. (4) Scoperta interdisciplinare di metodi, in cui gli agenti reperiscono conoscenze fisiche a priori al di fuori della letteratura sul 3DGS e le combinano con conoscenze sul rendering per produrre metodi destinati a tipi di scene finora non affrontati. (5) SPLATIFY-Bench, un framework di valutazione che comprende 30 articoli diversi sul 3DGS. Per gli articoli privi di codice pubblico, SPLATIFY eguaglia le implementazioni degli esperti riducendo il tempo di sviluppo da settimane a minuti e, grazie alla scoperta composizionale, migliora ulteriormente il PSNR fino a 2,4 dB. Dimostriamo inoltre nuovi metodi per il rendering volumetrico delle nebulose e per altri ambiti scientifici, sintetizzati interamente da SPLATIFY.