Completa o sparsa: storia di due identificabilità

Abstract degli autori

Capire quando le reti neurali apprendono rappresentazioni interpretabili è fondamentale per l’interpretabilità meccanicistica. Studiamo la questione attraverso l’identificabilità: quando può l’apprendimento supervisionato ricostruire le vere variabili latenti alla base dei dati? Introduciamo due processi di generazione dei dati che si distinguono per la direzione causale: nel primo le etichette causano le variabili latenti (generativo), nel secondo le variabili latenti causano le etichette (discriminativo). Quando la rappresentazione ha almeno tante dimensioni quante ne ha lo spazio latente, dimostriamo che gli encoder ottimali sono funzioni lineari delle variabili latenti. Viceversa, quando le dimensioni sono insufficienti, l’identificabilità in generale viene meno e gli encoder diventano non lineari. Mostriamo poi che vincoli aggiuntivi consentono di ricostruire le singole variabili latenti, non soltanto loro combinazioni lineari. Nel caso generativo, attivazioni non negative ed efficienza energetica impongono a ogni neurone di codificare esattamente una variabile latente, fornendo una spiegazione precisa delle risposte selettive simili a quelle delle «cellule della nonna». Nel caso discriminativo, quando le variabili latenti sono sparse e la vera matrice di misurazione soddisfa la condizione spark, l’encoder appreso eredita la struttura del compressed sensing, consentendo all’apprendimento di dizionari sparsi di ricostruire perfettamente le singole variabili latenti. Per quanto ne sappiamo, questo è il primo risultato di identificabilità per l’analisi delle componenti indipendenti non lineare sottocompleta. Il nostro quadro teorico unifica l’analisi delle componenti indipendenti non lineare, il compressed sensing e l’interpretabilità delle reti neurali, delineando con precisione quando le rappresentazioni passano da distorsioni non lineari a rappresentazioni lineari e, con ulteriori vincoli o passaggi, a codifiche nette e allineate agli assi. Le previsioni teoriche sono convalidate su benchmark sintetici e su attivazioni tratte da modelli di visione, modelli linguistici di grandi dimensioni e dalla corteccia inferotemporale del macaco.