SynthFaces: dataset umano bilanciato su larga scala

Abstract degli autori

La ricerca di un’IA equa e imparziale per i compiti incentrati sulle persone è ostacolata in modo significativo dai pregiudizi intrinseci e dai rischi per la privacy dei dataset del mondo reale, che offrono rappresentazioni sbilanciate delle identità e spesso contengono informazioni personali sensibili. Di conseguenza, i modelli generativi all’avanguardia addestrati su questi dati distorti mostrano prestazioni inique, in particolare nella generazione che preserva l’identità. In questo lavoro proponiamo una pipeline per generare in modo controllabile un dataset di volti diversificati da usare nell’addestramento e nel fine-tuning di modelli generativi. Ci riusciamo ampliando il modello di diffusione fondamentale Arc2Face con un modello generativo di flow matching nella varietà degli embedding di identità. Dimostriamo che questo approccio raggiunge entrambi gli obiettivi — fedeltà generativa e diversità delle etichette — che non si riscontrano nei dataset reali incentrati sulle persone. Di conseguenza, raccogliamo e contestualizziamo ulteriormente un dataset di persone altamente bilanciato e incentrato sulle identità, che chiamiamo SynthFaces. Per progettazione, le immagini e le identità che rilasciamo sono sintetiche, riducendo la dipendenza diretta da immagini di persone reali; verifichiamo empiricamente la separazione delle identità con una metrica di non-leakage basata sul vicino più prossimo. Lo proponiamo per l’addestramento e la messa a punto di modelli equi per varie attività a valle e ne mostriamo l’utilità nel fine-tuning di un metodo esistente basato su adapter per la generazione personalizzata.