Addestrare i Vision Transformer a focalizzare l’attenzione: l’emergere della specializzazione spaziale delle teste di attenzione

Abstract degli autori

L’apprendimento auto-supervisionato nei modelli Vision Transformer, come DINO, consente una percezione visiva robusta senza richiedere dati etichettati, sfruttando dataset di immagini su larga scala. Tuttavia, questi modelli non dispongono di un meccanismo di focalizzazione durante l’addestramento, dando luogo a rappresentazioni percettive spesso ambigue o eccessivamente simili. In questo lavoro presentiamo due funzioni di perdita per la focalizzazione visiva, progettate per stabilire una corrispondenza tra l’attenzione del modello e regioni specifiche delle immagini. In particolare, sfruttiamo il meccanismo di attenzione multi-head del modello per orientarne selettivamente il focus, portando all’emergere di una specializzazione spaziale delle teste di attenzione, caratterizzata da capacità percettive diversificate e focalizzate nello spazio, senza richiedere annotazioni. Attraverso valutazioni sia qualitative sia quantitative, dimostriamo che il nostro metodo aumenta in misura sostanziale la selettività spaziale e la diversità delle teste di attenzione, migliorando sia l’interpretabilità sia le prestazioni in compiti di predizione densa, come la segmentazione di immagini zero-shot.