Interpretare i parametri dei modelli linguistici

Abstract degli autori

L’interpretabilità meccanicistica cerca di scoprire come le reti neurali usino i propri parametri per realizzare i loro notevoli algoritmi neurali. Sebbene studi precedenti abbiano individuato una struttura sostanziale nelle rappresentazioni intermedie usate dalle reti, i progressi nel comprendere come i parametri e le non linearità delle reti eseguano calcoli su tali rappresentazioni sono stati limitati. In questo lavoro presentiamo un metodo che ci avvicina a tale comprensione: scompone i parametri di un modello linguistico in sottocomponenti, ciascuna delle quali realizza solo una piccola parte dell’algoritmo appreso dal modello, richiedendo al tempo stesso che basti una piccola frazione di queste sottocomponenti a spiegare il comportamento della rete per qualsiasi input. Il metodo, adVersarial Parameter Decomposition (VPD), cerca scomposizioni dei parametri delle reti neurali in sottocomponenti semplici che preservino il comportamento della rete dall’input all’output anche quando molte sottocomponenti sono sottoposte ad ablazione, comprese le ablazioni scelte in modo avversario per distruggere tale comportamento. Questo favorisce l’apprendimento di sottocomponenti che forniscano descrizioni brevi e meccanicisticamente fedeli del comportamento della rete e che dovrebbero combinarsi in modo appropriato in descrizioni più generali dell’algoritmo appreso dalla rete. Studiamo come sequenze di interazioni tra queste sottocomponenti dei parametri producano l’output della rete per input specifici, rendendo possibile un nuovo tipo di analisi dei «circuiti». Sebbene occorra ancora approfondire la nostra comprensione di come le reti neurali usino i propri parametri per calcolare il loro comportamento, il nostro lavoro suggerisce un approccio per individuare un piccolo insieme di sottocomponenti semplici e meccanicisticamente fedeli su cui basare ulteriori analisi meccanicistiche.