ShoeFit: un nuovo dataset e un framework DiT a doppio flusso di immagini per la prova virtuale delle calzature

Abstract degli autori

La prova virtuale delle calzature (VFTON), un ambito cruciale ma ancora poco esplorato della prova virtuale (VTON), mira a generare risultati fedeli a partire da immagini di calzature e modelli diversi, mantenendo la coerenza 3D e l’autenticità delle texture. A differenza dei metodi VTON convenzionali, incentrati sugli indumenti, la VFTON presenta difficoltà specifiche: (1) la scarsità di dati, dovuta alla difficoltà di abbinare perfettamente le immagini dei prodotti a quelle di modelli che indossano scarpe identiche; (2) il disallineamento delle prospettive, poiché la posa del piede di destinazione e le viste della scarpa di partenza sono sempre disallineate, con conseguente perdita di informazioni sulle texture e distorsione dei dettagli; (3) la distorsione cromatica indotta dallo sfondo, perché il materiale complesso delle calzature interagisce con l’illuminazione ambientale, causando alterazioni cromatiche indesiderate. Per affrontare queste difficoltà, presentiamo MVShoes, un dataset per la prova virtuale delle calzature da più prospettive composto da 7.305 terne di immagini accuratamente annotate, che comprende diverse categorie di calzature e scenari di prova virtuale impegnativi. Proponiamo inoltre ShoeFit, un’architettura DiT a doppio flusso progettata per attenuare il disallineamento delle prospettive mediante un condizionamento multivista con codifica posizionale rotativa 3D e per ridurre la distorsione indotta dallo sfondo tramite LayeredRefAttention, che sfrutta le caratteristiche dello sfondo per modulare le rappresentazioni latenti delle calzature. Il framework proposto separa efficacemente l’aspetto delle scarpe dalle interferenze ambientali, preservando al contempo dettagli delle texture di alta qualità grazie a rami distinti per la rimozione del rumore e il condizionamento. Numerosi esperimenti quantitativi e qualitativi dimostrano che il nostro metodo migliora sostanzialmente la fedeltà della resa e la robustezza con immagini di scarpe reali destinate alla vendita che pongono particolari difficoltà, stabilendo un nuovo benchmark per la generazione di immagini ad alta fedeltà della prova virtuale delle calzature.