SolarRenderer: rendering generativo di riferimento in pochi passaggi

Abstract degli autori

I motori di gioco e gli agenti di programmazione possono definire la disposizione, il movimento e la telecamera di una scena, ma trasformare questa struttura approssimativa in un video realistico richiede un renderer che la segua e completi gli aspetti visivi lasciati indeterminati. I renderer esistenti sono legati alla rappresentazione di un singolo motore, richiedono decine di passaggi di denoising o una costosa distillazione dedicata e apprendono da condizioni non allineate ai video di destinazione. Presentiamo SolarRenderer, un renderer video condizionato dalla struttura che adatta un backbone MiniMax-H3 33B con parametri congelati mediante due LoRA leggere. I video strutturali entrano nel percorso di riferimento nativo del backbone nelle posizioni dei fotogrammi che descrivono, senza un identificatore di tipo e con una descrizione soltanto in testo semplice: in questo modo, un’unica LoRA di controllo può seguire rappresentazioni strutturali arbitrarie. Partendo da una LoRA preaddestrata a quattro passaggi, il matching delle distribuzioni guidato dalla struttura produce il rendering in quattro passaggi, 12,3 volte più velocemente del campionamento a 50 passaggi, mantenendo il controllo appreso. Una variante causale a blocchi estende lo stesso approccio allo streaming e produce video a 768p in tempo reale. Per addestrare il modello, costruiamo un corpus di 136K clip con fotogrammi allineati, tratte da motori di gioco, simulatori e video di YouTube. Gli esperimenti su un set di test appartenente alla distribuzione di addestramento e su un benchmark di generalizzazione con 16 rappresentazioni strutturali mostrano che SolarRenderer ottiene risultati allo stato dell’arte in entrambi e generalizza a 11 rappresentazioni mai viste, tra cui scheletri di pose, disegni e nuvole di punti.