Vai al contenuto
AI.info

Ricerca

TTB: baking al momento del test per il rendering efficiente di modelli decoder-only di sintesi delle viste

I modelli decoder-only di grandi dimensioni per la sintesi di viste (LVSM) con cache KV hanno recentemente raggiunto una qualità allo stato dell’arte, ottenendo per regressione nuove viste a partire…

TTB: baking al momento del test per il rendering efficiente di modelli decoder-only di sintesi delle viste
arXiv
2611.17331
Pubblicato
2026-11-12
Autori
Chin-Yang Lin, Ryo Hachiuma, Jaesung Choe, Min-Hung Chen, Yu-Chiang Frank Wang, Yen-Yu Lin, Wei-Chen Chiu, Yu-Lun Liu, Cheng Sun

Abstract degli autori

I modelli decoder-only di grandi dimensioni per la sintesi di viste (LVSM) con cache KV hanno recentemente raggiunto una qualità allo stato dell’arte, ottenendo per regressione nuove viste a partire da reti neurali senza ricostruire la geometria 3D; i layer di Test-Time Training (TTT), invece, riducono il calcolo ma sacrificano la qualità. Proponiamo Test-Time Baking (TTB), una strategia che impara a incorporare in un MLP leggero le informazioni globali della scena ricavate dall’attenzione tra viste, consentendo una decodifica rapida e ad alta fedeltà di nuove viste. Il primo elemento chiave consiste nel riutilizzare l’MLP fast-weight del TTT per apprendere esplicitamente la mappatura dell’attenzione tra viste a partire dalle coppie input-output, invece di sostituire del tutto l’attenzione, ottenendo la stessa efficienza di rendering del TTT e una qualità nettamente superiore. Il secondo elemento chiave affronta il disallineamento tra modalità nella precompilazione del contesto e nel rendering di nuove viste: separiamo i token di contesto in token di rendering del contesto che contengono solo informazioni sulla telecamera, da usare come input del TTB, e token di contesto con i valori reali e il contenuto delle immagini, da usare come obiettivo della mappatura del TTB. In questo modo, gli MLP sottoposti a baking non devono affrontare la sfida della generalizzazione tra modalità nel passaggio dall’elaborazione del contesto a quella delle nuove viste. Il nostro metodo raggiunge un’accelerazione del rendering fino a **23x**, con una qualità pari a quella dello stato dell’arte su diversi benchmark. Pagina del progetto: https://test-time-baking.github.io

Il riassunto di questo paper è disponibile solo in inglese: leggilo nella pagina inglese.

Leggi il paper originale su arXiv