L’informazione di Fisher e la geometria della memorizzazione nelle reti neurali

Abstract degli autori

Un approccio promettente per comprendere la generalizzazione nell’apprendimento automatico consiste nel caratterizzare il modo in cui i modelli separano le strutture generalizzabili dalle caratteristiche peculiari, o persino corrotte, dei dati di addestramento. L’informazione di Fisher si è affermata come strumento diagnostico per questa distinzione: sfrutta la geometria della funzione di perdita per distinguere la generalizzazione dalla memorizzazione. Qui studiamo questo legame in modelli per la visione addestrati su CIFAR-10 con un rumore controllato che può essere appreso solo attraverso la memorizzazione. Mostriamo che proiettare i pesi del modello sugli autovettori principali di Fisher separa le prestazioni generali sul compito dalla memorizzazione dei campioni rumorosi, e analizziamo come questa separazione si manifesti in modo diverso nei vari strati. Mostriamo che gli stessi fenomeni sono presenti in piccoli transformer addestrati a risolvere un compito sintetico di apprendimento in contesto e che si riproducono in forma chiusa in un semplice modello lineare risolvibile analiticamente. I nostri risultati rivelano che l’informazione di Fisher coglie aspetti della struttura geometrica alla base del modo in cui le reti neurali distribuiscono la propria capacità tra generalizzazione e memorizzazione.