RoboCloth: un dataset su larga scala di materiali tessili reali per la ricostruzione neurale della riflettanza

Abstract degli autori

Presentiamo RoboCloth, un dataset di 500 materiali tessili reali acquisiti con configurazioni flessibili e calibrate della fotocamera e dell’illuminazione, entrambe controllate da robot durante l’acquisizione. Ogni materiale è ripreso in circa 580 fotogrammi ad alta gamma dinamica che coprono un’ampia semisfera di direzioni di osservazione e illuminazione. Le pose della fotocamera vengono affinate mediante structure-from-motion e allineate al sistema di riferimento del robot, ottenendo per ciascun materiale una geometria superficiale sparsa e osservazioni strutturate della riflettanza per punto, pronte per l’addestramento di modelli neurali sui materiali. Dimostriamo il valore di questi dati con una pipeline di ricostruzione neurale in due fasi: nella fase 1 addestriamo un decoder MLP condiviso sul nostro corpus affinché apprenda le caratteristiche a priori dei materiali tessili; nella fase 2 blocchiamo il decoder e adattiamo una texture latente densa da 2048x2048 a ciascun materiale bersaglio. Valutando il metodo su materiali del nostro dataset esclusi dall’addestramento e sul benchmark indipendente UBO2014, mostriamo che un decoder addestrato sulle nostre acquisizioni supera i decoder addestrati su dataset esistenti di riflettanza misurata e l’adattamento analitico PBR, e si trasferisce a sistemi di acquisizione mai visti senza modifiche. Il dataset, i file di calibrazione, i tensori delle osservazioni e le suddivisioni tra dati di addestramento e di test sono pubblicati con licenza CC BY 4.0 su Hugging Face Hub.