MIKU: invarianza dei materiali e unificazione della conoscenza per la generazione PBR

Abstract degli autori

La generazione di materiali di alta qualità per il rendering basato sulla fisica (PBR) resta una sfida, perché i dataset e le pipeline di sintesi non dispongono di rappresentazioni standardizzate. Le differenze nelle definizioni dei materiali, nelle convenzioni di rendering e nelle parametrizzazioni producono risultati instabili e fisicamente implausibili. Proponiamo MIKU, un framework unificato per rappresentare in modo standardizzato gli asset PBR e generare materiali fisicamente coerenti in diversi domini di contenuti 3D. Il suo nucleo è una pipeline di elaborazione unificata che standardizza il flusso di lavoro, dalla pre-elaborazione dei dati alla sintesi finale delle texture, mantenendo coerenti le rappresentazioni della geometria e delle texture. Uno schema di normalizzazione armonizza le parametrizzazioni eterogenee dei materiali in uno spazio di rappresentazione comune, consentendo un addestramento e un’inferenza robusti su dataset diversi. Sulla base di questa formulazione, addestriamo un nuovo modello di diffusione consapevole della fisica per generare texture PBR nell’ambito di un framework di sintesi multi-view in due fasi. Nella prima fase, la generazione dell’albedo consapevole della geometria sintetizza mappe di albedo multi-view con una guida geometrica esplicita, per garantire la coerenza dell’aspetto tra le diverse viste. Nella seconda fase, la generazione delle mappe di metallicità e rugosità usa il modello di diffusione per prevedere mappe di rugosità e metallicità fisicamente plausibili, condizionate all’albedo generato e alla rappresentazione unificata. Addestrato end-to-end su dati standardizzati, il modello impara a generare materiali che rispettano i prior dei materiali a livello di categoria e i confini semantici delle parti. Separando la standardizzazione della rappresentazione dalla sintesi dell’aspetto, MIKU migliora notevolmente la stabilità e la coerenza fisica della generazione dei materiali. Esperimenti approfonditi dimostrano una qualità delle texture allo stato dell’arte e una coerenza semantica tra le parti degli oggetti, facendo progredire la generazione automatizzata di materiali per la creazione di contenuti 3D.