Distillazione delle CAM resistente alle scorciatoie per il riconoscimento delle classi a coda lunga

Abstract degli autori

I dataset del mondo reale seguono spesso una distribuzione a coda lunga, che rende difficile la generalizzazione alle classi di coda. Riesaminiamo il problema dal punto di vista dell’apprendimento di scorciatoie: i modelli preferiscono gli indizi predittivi più facili, come lo sfondo o le texture, alle caratteristiche semantiche degli oggetti, soprattutto quando la supervisione è scarsa e distorta. Riscontriamo che questa tendenza è più marcata per le classi di coda: i pochi esempi disponibili condividono spesso contesti simili, rendendo i segnali non semantici fortemente correlati e quindi scorciatoie allettanti. Le classi di testa, invece, presentano aspetti e ambienti più vari, che favoriscono rappresentazioni più stabili e incentrate sugli oggetti. Sulla base di questa osservazione proponiamo Shortcut-Resistant CAM Distillation (SRCD), un framework plug-and-play che trasferisce dalle classi di testa a quelle di coda spiegazioni incentrate sugli oggetti. SRCD opera nello spazio delle mappe di attivazione delle classi (CAM), in cui una CAM fornisce una mappa spaziale delle evidenze specifiche di una classe a sostegno di una predizione. SRCD aggrega le CAM di un piccolo insieme di classi di testa candidate in un modello insegnante resistente alle scorciatoie, usando una ponderazione basata su un modello energetico che tiene conto di coerenza e concentrazione, e ne distilla il risultato nella CAM della classe di coda. Presentiamo un’analisi teorica che quantifica la dipendenza dalle scorciatoie come massa delle evidenze nelle regioni associate alle scorciatoie nello spazio delle CAM e mostra che SRCD riduce le scorciatoie per le classi di coda. Numerosi esperimenti su benchmark a coda lunga mostrano miglioramenti costanti rispetto a solide baseline. Il codice è disponibile all’indirizzo https://github.com/Haifeng3/SRCD.