La tua testa di proiezione auto-supervisionata cattura le statistiche di co-occorrenza degli oggetti

Abstract degli autori

L’apprendimento auto-supervisionato (SSL) ha ottenuto risultati notevoli nell’apprendere rappresentazioni visive semantiche, ma i principi alla base di questo successo restano ancora poco studiati. In questo lavoro ipotizziamo che i comuni task pretest di SSL modellino implicitamente le statistiche di co-occorrenza degli oggetti, un indizio fondamentale per l’apprendimento visivo. Per verificarlo, prepariamo tre dataset di oggetti segmentati a partire da benchmark di visione esistenti, utilizzando un modello di segmentazione all’avanguardia. Attraverso esperimenti condotti su numerosi modelli SSL, mostriamo una codifica gerarchica delle informazioni semantiche: mentre il backbone visivo cattura le categorie di oggetti, la testa di proiezione è specializzata nella codifica delle co-occorrenze tra categorie di oggetti. Di conseguenza, la testa di proiezione rispecchia meglio del backbone i giudizi umani sulla somiglianza tra categorie. Inoltre, controllando i pattern di co-occorrenza durante il pre-training, dimostriamo che codificare le co-occorrenze tra oggetti può accelerare significativamente l’emergere di rappresentazioni a livello di categoria. I nostri risultati portano alla luce un principio di apprendimento finora nascosto nell’SSL e suggeriscono una strada per progettare task pretest più efficaci, sfruttando esplicitamente la struttura di co-occorrenza degli oggetti.