Neural Expansion: un meccanismo unificato per spiegare come generalizzano le reti neurali profonde

Abstract degli autori

Le reti neurali profonde mostrano una notevole capacità di generalizzazione nonostante siano fortemente sovraparametrizzate, mettendo in discussione le teorie tradizionali dell’apprendimento statistico. Sebbene diversi approcci teorici, tra cui i limiti basati sul margine, le analisi PAC-bayesiane e i kernel tangenti neurali, offrano spiegazioni globali, spesso non chiariscono il meccanismo con cui la generalizzazione emerge dalle dinamiche di addestramento. Presentiamo Neural Expansion, un quadro geometrico unificato che descrive la generalizzazione attraverso l’espansione della copertura dei raggi, selettiva rispetto alla direzione, nello spazio degli input. Utilizzando i Generalization Intervals (GIs), quantifichiamo le regioni attorno ai campioni di addestramento, specifiche per ciascuna direzione, in cui le previsioni del modello rimangono stabili. I nostri ampi studi empirici, condotti su architetture e dataset diversi, mostrano che l’addestramento porta a una progressiva espansione della copertura dei raggi, in particolare lungo le direzioni in cui i valori singolari della matrice jacobiana sono bassi. Questo meccanismo aiuta a spiegare un’ampia parte degli input di test classificati correttamente, degli esempi avversari e persino dei campioni con etichette errate o fuori distribuzione attraverso la geometria della copertura dei raggi, anziché attraverso la memorizzazione dei singoli esempi. Collegando la curvatura dello spazio degli input al comportamento predittivo, il nostro quadro offre una spiegazione fondata sul meccanismo che integra le teorie globali esistenti sull’apprendimento profondo.