Interferenti naturali: quando le caratteristiche non robuste diventano antagoniste

Abstract degli autori

È noto che le reti neurali profonde si affidano a caratteristiche non robuste, poco coerenti con la percezione umana. I lavori precedenti le hanno perlopiù descritte come scorciatoie opportunistiche che aiutano i modelli standard sui dati puliti. Mostriamo invece che gli indizi non robusti possono essere antagonisti: possono agire come interferenti naturali e trarre attivamente in inganno i modelli standard su immagini pulite e non modificate. Usando come chiave di analisi il disaccordo tra un modello standard e modelli robusti, individuiamo un insieme di immagini soggette a interferenza sul quale i modelli robusti ottengono risultati migliori di quelli standard. Forniamo prove causali di un blocco spettrale-spaziale: l’interferenza si verifica solo quando le componenti ad alta frequenza sono allineate con precisione a specifiche strutture spaziali. Interrompere questo legame mediante un filtraggio spettrale o piccoli spostamenti geometrici può ripristinare le previsioni corrette. Un risultato cruciale è quello che chiamiamo paradosso della sostituzione: mentre i singoli interferenti sono vulnerabili agli spostamenti geometrici, la prevalenza complessiva dell’interferenza rimane approssimativamente stabile e, sotto queste trasformazioni, si redistribuisce anziché scomparire. I nostri risultati portano a considerare la naturale mancanza di robustezza come un campo di fallimento nella geometria empirica del rapporto tra modello e dati: un campo che, sotto piccole trasformazioni, si redistribuisce anziché scomparire.