La mobilità aiuta ad apprendere: adattamento non supervisionato dei modelli di riconoscimento degli oggetti attraverso il movimento

Abstract degli autori

Gli agenti mobili, come i veicoli autonomi e i robot, dovrebbero essere in grado di adattare autonomamente i propri modelli di riconoscimento degli oggetti preaddestrati a nuovi ambienti, senza annotazioni umane. Sebbene i metodi esistenti di adattamento in fase di test (TTA) consentano di adattare i modelli senza etichette, in genere trattano i dati di test come osservazioni indipendenti, senza sfruttare una fonte di supervisione ricca e peculiare: la significativa variazione nella qualità delle predizioni quando un agente osserva lo stesso oggetto da distanze e punti di vista diversi. Per sfruttarla, proponiamo \texttt{MoCaFe}, un approccio indipendente dal modello e poco sensibile agli iperparametri che usa la variazione delle predizioni indotta dal movimento per l’adattamento non supervisionato. In particolare, sviluppiamo innanzitutto un filtraggio delle pseudoetichette calibrato sulla mobilità, che produce pseudoetichette affidabili combinando le predizioni ottenute da più punti di vista con pesi inversamente proporzionali alla varianza. Le pseudoetichette filtrate guidano poi la selezione di «campioni difficili» per un apprendimento efficace. Per ridurre ulteriormente la corruzione delle pseudoetichette, introduciamo \texttt{p-MoCaFe}, un’estensione facoltativa che usa un dataset pubblico per assegnare pesi ai campioni di dati, ottenendo uno stimatore della perdita su dati puliti con distorsione limitata. Numerosi esperimenti su dataset di guida autonoma (nuScenes, KITTI) e di agenti incarnati mostrano che \texttt{MoCaFe} supera nettamente i metodi TTA più avanzati, ottenendo un aumento dell’accuratezza fino a circa il 20%.