PCHMR: potenziare e valutare con benchmark la ricostruzione della mesh umana in contesti reali con vincoli di privacy

Abstract degli autori

Il fine-tuning direttamente sui dati lato utente è un modo efficace per migliorare le prestazioni dei modelli di ricostruzione della mesh umana (HMR) basati sui dati e ampiamente utilizzati. Per i metodi HMR esistenti, però, spesso richiede di aggregare su un server centrale di addestramento i dati provenienti dai dispositivi su cui sono implementati sistemi HMR in contesti reali. Questo comporta un rischio significativo per la privacy, perché vengono trasmesse immagini sensibili di persone. Come si può valutare e migliorare la ricostruzione della mesh umana in contesti reali con vincoli di privacy? Studiamo la questione attraverso un benchmark in cui modelli HMR all’avanguardia vengono addestrati mediante apprendimento federato e una sua variante con aggregazione sicura, senza che nessuno dei due approcci centralizzi le immagini originali, e valutati in un’ampia gamma di configurazioni per scala dei client ed eterogeneità dei dati. Documentiamo che le comuni pipeline di addestramento HMR si basano sull’accesso centralizzato ai dati e quantifichiamo il comportamento di architetture di base HMR rappresentative quando viene meno questa condizione. Inoltre, per studiare il problema della disponibilità dei dati nell’addestramento HMR con vincoli di privacy, proponiamo DePoser, una pipeline locale di annotazione e fine-tuning potenziata da modelli fondazionali per la profondità, con cui i modelli HMR addestrati in modo collaborativo possono essere adattati localmente alla distribuzione dell’utente finale. Su dati raccolti in condizioni non controllate, il fine-tuning sulle annotazioni di DePoser migliora l’accuratezza della personalizzazione, misurata rispetto alla pseudo-ground truth generata da DePoser. Il benchmark mira a sostenere i futuri lavori sui modelli HMR con vincoli di privacy e sulla loro implementazione e valutazione in contesti reali.