Il compromesso di località nell’auto-distillazione di patch mascherate

Abstract degli autori

L’auto-distillazione di patch mascherate è una componente fondamentale dei moderni modelli fondazionali per la visione, tra cui DINOv2 e DINOv3, ma le sue implicazioni per le informazioni visive locali restano poco chiare. Mostriamo che i suoi benefici semantici possono coesistere con un costo di località dipendente dalla scala. Utilizzando due metodi diagnostici che non richiedono annotazioni, distinguiamo l’aspetto locale recuperabile dalla corrispondenza spaziale. Nei modelli più piccoli, l’aggiunta di iBOT indebolisce notevolmente la corrispondenza tra patch, preservando in larga misura la decodificabilità dell’aspetto. Nei modelli più grandi, la corrispondenza migliora, ma le informazioni su pixel e texture diventano meno accessibili in modo lineare nelle feature profonde. Pertanto, l’aumento di scala modifica la forma del costo di località, invece di eliminarlo uniformemente. La nostra analisi dell’ancoraggio Gram mostra inoltre che preservare le relazioni tra patch non garantisce miglioramenti simultanei in entrambe le proprietà. Questi risultati suggeriscono di valutare e progettare le rappresentazioni visive tenendo conto delle esigenze complementari di astrazione semantica, conservazione dell’aspetto e corrispondenza spaziale. Il nostro codice è disponibile all’indirizzo https://github.com/winci-ai/jea.