Geometria temporale delle reti profonde: rappresentazioni iperboliche delle dinamiche di addestramento per la spiegabilità intrinseca

Abstract degli autori

La spiegabilità intrinseca resta un problema complesso, soprattutto nei contesti in cui i percettroni multistrato (MLP) richiedono un riaddestramento dinamico in un ambiente di ottimizzazione. Questo studio esamina come gli MLP e le loro dinamiche di addestramento possano essere rappresentati e studiati in spazi non euclidei; la nostra rappresentazione si avvale del modello di Poincaré della geometria iperbolica. Vogliamo cogliere l’evoluzione geometrica nel tempo della loro topologia ponderata e della loro auto-organizzazione. Anziché limitare l’analisi a singoli checkpoint---come fanno i metodi consolidati di spiegabilità basati su misure---costruiamo \textit{parameter graphs} temporali, ossia istantanee raccolte nel corso di $T$ passi del processo di ottimizzazione/addestramento degli MLP. Questo riflette l’idea che le reti neurali codifichino informazioni non solo nei loro pesi, ma anche nella traiettoria tracciata durante l’addestramento. Partendo dall’idea che molte reti complesse possano essere rappresentate in spazi metrici nascosti, nei quali le distanze corrispondono alla probabilità di connessione, presentiamo un framework di meta-apprendimento geometrico e temporale basato su grafi per ottenere rappresentazioni iperboliche dinamiche dei grafi dei parametri neurali sottostanti. Il nostro modello rappresenta i grafi temporali dei parametri nella palla del modello di Poincaré e apprende da essi, mantenendo l’equivarianza rispetto alle permutazioni dei neuroni all’interno di ciascuna istantanea e l’invarianza rispetto alle permutazioni delle istantanee precedenti. In questo modo, l’approccio preserva l’equivalenza funzionale nel tempo e ricostruisce la geometria latente della rete nella sua evoluzione. Esperimenti su compiti di regressione e classificazione con MLP addestrati mostrano solide prestazioni della meta-rete, accompagnate da rappresentazioni temporali iperboliche. Ciò rivela come la struttura della rete emerga nel tempo in specifici ambienti di addestramento, offrendo così indicazioni sulla sua auto-organizzazione.