The Pulse
Nick Cammarata di Goodfire rilegge la sovrapposizione come generalizzazione
Secondo Nick Cammarata di Goodfire, le reti neurali sono più interpretabili di quanto suggerisca l’ipotesi della sovrapposizione. Nel suo saggio presenta analisi preliminari di Qwen3-32B e invita a studiare direttamente neuroni e circuiti.
AI.info Team · Scritto con l’IA ·
«Le reti neurali sono già ordinate.»
Nick Cammarata, Goodfire
In un saggio pubblicato il 15 ottobre, il ricercatore di Goodfire Nick Cammarata sostiene che una delle principali spiegazioni del comportamento apparentemente confuso dei neuroni delle reti neurali sia stata interpretata male. Anziché considerare molti neuroni come combinazioni arbitrarie di concetti non correlati, afferma, i ricercatori dovrebbero cercare innanzitutto una normale generalizzazione: un neurone può rispondere a diversi schemi correlati, oppure a uno schema che si amplia man mano che il modello apprende. Cammarata presenta il saggio come un’ipotesi di lavoro informale, non come una trattazione definitiva della questione.
Perché Cammarata torna al neurone dei gatti e delle auto
La sovrapposizione ha contribuito a spiegare come reti con una capacità di rappresentazione limitata possano codificare più caratteristiche di quanti siano i loro neuroni. Secondo questa spiegazione, caratteristiche non correlate condividono direzioni nello spazio interno di una rete e le elaborazioni successive le recuperano. L’idea ha contribuito allo sviluppo di metodi come gli autoencoder sparsi, che cercano di scomporre le attivazioni sovrapposte di una rete in caratteristiche più interpretabili.
Cammarata si concentra su un celebre esempio di InceptionV1: un neurone che sembrava rispondere sia ai musi dei gatti sia alla parte anteriore delle auto. Ora sostiene che lo schema comune potrebbe essere una forma a V, visibile nelle caratteristiche a cui il neurone risponde e nelle connessioni del suo circuito. Secondo la sua interpretazione, il neurone non nasconde due concetti non correlati in un’unica rappresentazione: risponde a una forma visiva comune a entrambi.
Riesamina anche un circuito presentato in precedenza come prova della sovrapposizione, nel quale una caratteristica legata alle auto sembrava propagarsi attraverso neuroni associati ai cani. Cammarata afferma che la parte successiva della rete non recuperava la presunta combinazione: il circuito è quindi un esempio poco convincente di caratteristiche compresse insieme per essere recuperate in seguito. Scrive di non conoscere un secondo circuito pubblicato con la stessa struttura proposta.
Una verifica preliminare con Qwen3-32B
Al centro dell’analisi quantitativa del saggio c’è un esame preliminare di Qwen3-32B. Cammarata stima che circa il 90% dei poli dei neuroni abbia una funzione principale, spesso con funzioni derivate correlate; circa il 7% abbia due funzioni correlate; e che il 2–4% non sia ancora compreso. Sono stime dell’autore, non un punteggio standardizzato: il saggio precisa che le percentuali cambiano a seconda di scelte come il modo di conteggiare le attivazioni deboli, di considerare la profondità di un neurone e i suoi sottocircuiti, e di definire che cosa costituisca una singola funzione.
Afferma che lo stesso quadro generale emerge nei modelli fino a migliaia di miliardi di parametri, incluso Kimi K3, ma rimanda a un prossimo articolo tecnico di accompagnamento per maggiori dettagli sugli esperimenti condotti sui modelli linguistici. Il saggio non presenta i risultati relativi a questi grandi modelli come uno studio concluso e valutato in modo indipendente. Cammarata mette in guardia dal considerare un’unica percentuale di ordine come un obiettivo preciso: la descrive piuttosto come una guida approssimativa alla categoria di modelli esaminata.
La «generalizzazione ricorsiva» al posto delle combinazioni arbitrarie
La spiegazione alternativa proposta da Cammarata è quella che chiama generalizzazione ricorsiva. Un neurone può partire da uno schema e acquisire funzioni derivate correlate man mano che il modello apprende: per esempio, un rilevatore della sequenza di lettere «iy» può estendersi a «diy» e poi a «do it yourself». Le funzioni possono sembrare non correlate se chi le studia vede soltanto gli esempi finali, sostiene, ma il loro sviluppo rivela una catena di associazioni, non una compressione arbitraria.
Indica inoltre le debolezze dell’architettura, gli strumenti di analisi limitati e i modelli piccoli o semplificati tra i fattori che hanno fatto apparire meno coerenti i neuroni esaminati nei primi studi. Secondo la sua ricostruzione, questi fattori si sono sommati: gli strumenti a volte favorivano spiegazioni capaci di riprodurre le attivazioni senza cogliere il meccanismo, mentre ai ricercatori mancava un catalogo chiaro degli schemi che i neuroni potevano apprendere. Modelli migliori e verifiche più approfondite dei singoli neuroni e circuiti, sostiene, possono mettere in luce schemi che le etichette generiche nascondono.
Le ragioni per studiare direttamente le reti
Il disaccordo pratico non riguarda soltanto quale metodo interpretativo funzioni meglio. Cammarata sostiene che i ricercatori possano esaminare i neuroni, i circuiti e il flusso di informazioni di un modello, anziché addestrare prima una decomposizione separata per ricostruirne le caratteristiche. Dice che questo procedimento ha funzionato per lui nelle moderne reti convoluzionali e, finora, nei modelli linguistici, pur riconoscendo che questi ultimi, per via delle loro dimensioni, sono ancora ben lontani dall’essere compresi appieno.
La tesi del saggio è ambiziosa, ma il suo carattere è dichiaratamente provvisorio: Cammarata presenta un’ipotesi di lavoro e afferma che un articolo di accompagnamento fornirà maggiori dettagli sugli esperimenti condotti sui modelli linguistici. Per ora, tra le prove specifiche che propone figurano una nuova interpretazione del neurone dei gatti e delle auto di InceptionV1 e stime preliminari su Qwen3-32B, le cui definizioni dipendono da valutazioni su che cosa conti come una singola funzione.