EDGAR: raffinamento efficiente di avatar gaussiani guidato dalla diffusione tramite fallimenti sintetici

Abstract degli autori

I recenti progressi nel Gaussian splatting hanno reso possibile ricostruire avatar della testa in modo efficiente e fotorealistico; tuttavia, i metodi basati su video monoculari o su immagini soffrono ancora di geometria e texture scarsamente vincolate, che causano artefatti come sfocatura, deformazioni e instabilità temporale. Presentiamo EDGAR (Efficient Diffusion-Driven Gaussian Avatar Refinement), un framework di diffusione condizionale progettato per migliorare la qualità degli avatar gaussiani correggendo gli artefatti e preservando al contempo la fedeltà dell’identità. Per addestrare EDGAR, realizziamo EDGAR-SET, un dataset ibrido di triplette composto da campioni acquisiti dal mondo reale e campioni renderizzati sinteticamente, che simula casi realistici di malfunzionamento degli avatar gaussiani abbinando rendering degradati a immagini di riferimento e ground truth. EDGAR migliora i fotogrammi degradati tramite un blocco di fusione che inietta in un backbone di diffusione a un solo passaggio le caratteristiche d’identità estratte dal modello autosupervisionato Sapiens, consentendo di rimuovere efficacemente gli artefatti senza sacrificare l’efficienza. Il modello EDGAR integra un’architettura Mixture-of-Experts (MoE) per gestire diversi tipi e livelli di gravità del degrado. I rendering raffinati da più punti di vista vengono poi usati come pseudo-target per ottimizzare un singolo avatar gaussiano sottostante, così che l’avatar finale possa essere renderizzato senza applicare EDGAR a ogni fotogramma in uscita. Gli esperimenti condotti su tre diversi metodi di ricostruzione di avatar gaussiani, ciascuno valutato in tre diverse impostazioni, mostrano miglioramenti sia nelle misure percettive sia in quelle di ricostruzione rispetto agli output grezzi e a un metodo di raffinamento di tipo SDEdit. Inoltre, la valutazione tra diversi punti di vista dimostra una migliore coerenza calibrata, mentre i test con angoli di yaw ampi e con espressioni a bocca aperta verificano la robustezza in condizioni estreme. Nel complesso, questi risultati indicano un regime operativo utile quando gli artefatti nell’aspetto sono recuperabili. Il codice è disponibile all’indirizzo https://kwanyun.github.io/edgar/