GIFT: la geometria delle rappresentazioni conta nel rilevamento generalizzato di oggetti a dominio singolo

Abstract degli autori

Il rilevamento generalizzato di oggetti a dominio singolo (S-DGOD) mira a generalizzare da un unico dominio di origine a domini mai visti, in presenza di cambiamenti nella distribuzione. Le ricerche esistenti si concentrano soprattutto sulla simulazione di domini mai visti o sulla soppressione dei fattori specifici del dominio. Trascurano però in larga misura la capacità intrinseca di generalizzazione dei Vision Foundation Models (VFMs). In questo lavoro mostriamo che un fine-tuning privo di vincoli altera la struttura geometrica delle rappresentazioni preaddestrate, che codifica una semantica invariante rispetto al dominio. Su questa base proponiamo Geometric-Invariance Fine-Tuning (GIFT), un metodo di fine-tuning per i VFMs che tiene conto della geometria. In particolare, introduciamo nei pesi preaddestrati una serie di riflessioni di Householder apprendibili, per favorire un adattamento coerente con la geometria in presenza di cambiamenti del dominio. Proponiamo inoltre un leggero riscalamento per canale, che facilita un adattamento efficace al compito specifico. Ampi esperimenti dimostrano che GIFT supera sistematicamente i metodi allo stato dell’arte (SOTA) su due benchmark S-DGOD. In particolare, introducendo nel backbone congelato meno dell’1% di parametri addestrabili aggiuntivi, il metodo proposto ottiene miglioramenti di +7,9% e +2,9% nella mPC rispetto al precedente stato dell’arte, rispettivamente su Cityscapes-C e Diverse Weather Dataset. Questo risultato evidenzia che preservare la geometria delle rappresentazioni è fondamentale per una generalizzazione robusta tra domini e fa di GIFT una soluzione fondata su principi ed efficiente per affrontare i cambiamenti del dominio.