Attenzione decorrelata condizionata ai campioni difficili per un riconoscimento facciale robusto

Abstract degli autori

L’attenzione multi-head nei Vision Transformer (ViT) consente ai diversi head di apprendere pattern di attenzione indipendenti, ma, senza una regolarizzazione esplicita, gli head possono apprendere pattern ridondanti anziché ruoli complementari. Le penalità basate sulla correlazione favoriscono la separazione tra gli head, ma applicano una regolarizzazione uniforme a tutti i campioni di addestramento. Nel riconoscimento facciale (FR), i campioni difficili, i cui embedding si trovano vicino a identità concorrenti, sono fondamentali per l’ottimizzazione e la generalizzazione. Partendo da questa osservazione, proponiamo ViT-HarDis, che condiziona la separazione degli head di attenzione alla difficoltà del campione: i campioni con un’elevata similarità coseno rispetto ai centri delle classi negative ricevono una decorrelazione più forte degli head, imponendo una specializzazione laddove l’ambiguità tra le identità è maggiore. Gli esperimenti mostrano miglioramenti rispetto sia al modello di base sia alla separazione uniforme sulla maggior parte dei benchmark. La nostra analisi mostra che ViT-HarDis riduce la similarità dei campioni difficili rispetto ai centri delle classi concorrenti, diminuendo al contempo la similarità dell’attenzione tra gli head; mostra inoltre che applicare la separazione solo agli strati finali del transformer dà risultati migliori rispetto a regolarizzare l’intera rete. Addestrato su WebFace4M, ViT-HarDis ottiene risultati allo stato dell’arte tra i metodi basati su ViT su IJB-B, IJB-C e TinyFace Rank-1; quando viene addestrato su MS1MV3, ottiene invece i migliori risultati su IJB-B e TinyFace, migliorando il riconoscimento facciale senza modifiche all’architettura né costi aggiuntivi in fase di inferenza. Codice: https://github.com/TaharChettaoui/Hard-Sample-Conditioned-Attention-for-FR.