Etica e governance

La scatola nera aperta: la corsa a capire cosa pensa davvero l’IA

Golden Gate Claude, gli autoencoder sparsi e il tracciamento dei circuiti sono scienza autentica, ma vengono presentati al pubblico con un’enfasi eccessiva. Lo studio di Anthropic sui workspace del luglio 2026 arriva finalmente ai modelli d

AI.info Team · 2026-08-20

Un ponte, una dimostrazione e un avvertimento su ciò che le dimostrazioni provano

Nel maggio 2024, Anthropic permise al pubblico di parlare con una versione di Claude 3 Sonnet che era impazzita un po’. Se le si chiedeva una ricetta, riusciva a infilarci un accenno alla nebbia che avvolge un famoso ponte sospeso rosso. Se le si chiedeva di scrivere una lettera d’amore, trovava in qualche modo il modo di orientare il testo verso la baia di San Francisco.

L’azienda aveva preso una singola «caratteristica» interna — una direzione nello spazio delle attivazioni del modello che si attiva ogni volta che compare il Golden Gate Bridge, in inglese, in giapponese o in una fotografia — e ne aveva aumentato l’intensità ben oltre il livello normale. Chiamarono il risultato Golden Gate Claude e lo disattivarono circa un giorno dopo il lancio.

Era una trovata, e Anthropic sapeva che lo era: un modo efficace per mostrare che uno specifico concetto umano ha una collocazione precisa e manipolabile all’interno di un grande modello linguistico.

Quella dimostrazione è il punto di partenza giusto proprio perché è così facile fraintenderla. La conclusione che molti trassero da Golden Gate Claude fu: «Anthropic sa leggere nella mente del modello». La lezione effettiva è più circoscritta e più onesta: i ricercatori trovarono una direzione interpretabile, fra quelle che uno studio parallelo stimava essere decine di milioni, e riuscirono a manipolarla.

L’interpretabilità meccanicistica — la disciplina che cerca di ricostruire il funzionamento delle reti neurali come si potrebbe fare con un programma binario compilato, per risalire a un codice sorgente leggibile — ha prodotto negli ultimi cinque anni risultati scientifici reali, replicati e pubblicabili. Ha anche generato un flusso costante di articoli giornalistici che vanno ben oltre ciò che la scienza ha dimostrato.

Sono vere entrambe le cose, e il divario tra loro è ormai un problema etico a sé stante, perché l’interpretabilità viene citata, implicitamente ed esplicitamente, come motivo per fidarsi dell’impiego di sistemi sempre più autonomi, prima che il metodo su cui si basa sia in grado di sostenere una simile responsabilità.

Perché non basta leggere i pesi

La speranza ingenua, nel campo dell’interpretabilità, è sempre stata che una rete neurale addestrata si organizzasse come una base di codice ben commentata: un neurone, un concetto. Non è così. In «Toy Models of Superposition», del 2022, i ricercatori di Anthropic guidati da Nelson Elhage e Chris Olah mostrarono perché.

Quando una rete ha più caratteristiche da rappresentare che neuroni con cui rappresentarle, e quelle caratteristiche sono sparse — ciascuna è rilevante solo occasionalmente — impara a comprimere più concetti non correlati nello stesso neurone, sfruttando la quasi ortogonalità delle direzioni in uno spazio ad alta dimensionalità. Un singolo neurone potrebbe attivarsi per i musi dei gatti, per una struttura sintattica del francese e per il numero pi greco, senza alcun legame fra i tre, se non che ciascuno è abbastanza raro da far sì che, nella pratica, le sovrapposizioni causino raramente problemi.

Questa compattazione è la sovrapposizione, e la sua manifestazione nel comportamento — un neurone che risponde a un insieme eterogeneo di stimoli non correlati — è la polisemanticità. Non è un difetto che un addestramento migliore potrebbe correggere; è qualcosa di molto vicino alla soluzione efficiente del problema che la rete sta effettivamente risolvendo: rappresentare una parte del mondo ben più ampia di quella per cui ha spazio.

La sovrapposizione spiega perché decenni di ricerche sull’interpretabilità, condotte con un approccio ispirato alle neuroscienze e basate sull’idea di «vedere che cosa attiva questo neurone», abbiano continuato a scontrarsi con un limite. A questo si aggiungeva una scoperta precedente e complementare, emersa dallo stesso filone di ricerca: «A Mathematical Framework for Transformer Circuits», pubblicato da Anthropic nel 2021, mostrava che persino semplici transformer a due livelli, basati solo sull’attenzione, eseguono algoritmi comprensibili se osservati al giusto livello di astrazione. L’esempio più noto sono le «induction heads», una coppia di teste di attenzione che si combinano e permettono al modello di completare uno schema già incontrato una volta in precedenza nello stesso contesto.

Le induction heads dimostravano che i transformer contengono effettivamente meccanismi descrivibili. La sovrapposizione era l’ostacolo che spiegava perché la maggior parte di quei meccanismi restasse nascosta all’osservazione diretta dei singoli neuroni.

Scomporre la sovrapposizione con i dizionari

La tecnica che ha sbloccato la situazione non ha nulla di esotico. È l’apprendimento di dizionari, applicato tramite un autoencoder sparso (SAE): si prendono le attivazioni di uno strato, le si proietta in uno spazio molto più ampio imponendo una penalità che favorisca la sparsità e si spera che, in quello spazio più ampio e più sparso, ogni dimensione corrisponda a un concetto a cui si può dare un nome, anziché a una miscela di più concetti sovrapposti.

Nello studio del 2023 di Anthropic «Towards Monosemanticity: Decomposing Language Models With Dictionary Learning», Trenton Bricken e i coautori hanno applicato questa tecnica a un piccolo transformer con un solo strato e hanno individuato caratteristiche individuali e monosemantiche per elementi specifici come la scrittura araba, le sequenze di DNA, la sintassi delle richieste HTTP e le formule ricorrenti dei testi giuridici. Si trattava di concetti che nessun singolo neurone grezzo rappresentava in modo netto, ora isolati come singole direzioni che i ricercatori potevano accentuare o attenuare, osservando come cambiava di conseguenza l’output del modello.

Restava da capire se il metodo funzionasse anche oltre i modelli giocattolo. Nel 2024, con «Scaling Monosemanticity», Adly Templeton e i colleghi di Anthropic hanno risposto addestrando autoencoder sparsi direttamente su Claude 3 Sonnet, un modello impiegato in produzione, in tre dimensioni che arrivavano a decine di milioni di caratteristiche apprese. Golden Gate Claude era il richiamo pubblicitario dello studio, ma il punto sostanziale era dimostrare che l’approccio basato sull’apprendimento di dizionari non crollava su larga scala: continuava a trovare caratteristiche corrispondenti a concetti reali e verificabili — compiacenza, vulnerabilità di sicurezza nel codice, specifici toni di voce, inganno — ciascuna identificabile con un nome e, soprattutto, in grado di orientare causalmente il modello fissandone il valore.

OpenAI ha condotto in parallelo, sostanzialmente, la stessa corsa. Nel suo studio del 2024 «Scaling and Evaluating Sparse Autoencoders», Leo Gao e i coautori, tra cui Ilya Sutskever e Jan Leike, hanno addestrato direttamente sulle attivazioni di GPT-4 un autoencoder con sedici milioni di variabili latenti, usando quaranta miliardi di token di dati. Hanno introdotto una variante «k-sparse» progettata per controllare la sparsità in modo più diretto ed evitare il problema delle caratteristiche dell’autoencoder che diventano permanentemente «inattive» e smettono del tutto di attivarsi. Il fatto che due laboratori concorrenti siano arrivati allo stesso strumento per lo stesso problema, più o meno nello stesso momento, è di per sé significativo: suggerisce che gli SAE stessero risolvendo un vero collo di bottiglia strutturale, non adattandosi a uno stile proprio di un laboratorio.

Da allora, lo strumento è uscito dagli articoli di ricerca. Nell’aggiornamento del giugno 2026 sui circuiti, Anthropic descrive gli autoencoder sparsi come «uno strumento prezioso per caratterizzare importanti comportamenti dei nostri modelli legati alla sicurezza», indica caratteristiche che descrivono emozioni come il disagio e la consapevolezza di essere sottoposti a valutazione, e le usa come sonde per monitorare altre trascrizioni e costruire grafi di attribuzione attorno a un comportamento che merita di essere spiegato. L’apprendimento di dizionari non è più soltanto materia di uno studio: in uno dei laboratori all’avanguardia fa parte del modo in cui vengono esaminati i modelli in vendita.

L’anno prima, OpenAI aveva già provato una strada completamente diversa e più basata sulla forza bruta per l’interpretabilità. Nel suo studio del 2023 «Language Models Can Explain Neurons in Language Models», l’azienda ha usato GPT-4 stesso per generare e valutare spiegazioni in linguaggio naturale dei singoli neuroni di GPT-2, automatizzando di fatto, su larga scala, la domanda «a che cosa risponde questo neurone». Il metodo ha funzionato nel senso che ha prodotto spiegazioni per ogni neurone di GPT-2 e ne ha individuati più di mille con un punteggio superiore a 0,8 secondo la metrica elaborata dai ricercatori per valutare la qualità delle spiegazioni.

Allo stesso tempo, però, ha rivelato anche i limiti dell’approccio: il punteggio medio delle spiegazioni per tutti i neuroni era un mediocre 0,34. Automatizzare l’interpretabilità non rende automaticamente buona l’interpretazione; dimostra soprattutto che la maggior parte dei neuroni, esaminati uno alla volta, continua a sfuggire a una descrizione chiara in una sola riga d’inglese. È di nuovo il problema della sovrapposizione, sotto altre vesti.

Dalle caratteristiche isolate ai meccanismi del pensiero

Individuare una caratteristica interpretabile non equivale a capire come il modello la usi in una catena di ragionamento. È questa la distanza che il lavoro di Anthropic del 2025 sul «tracciamento dei circuiti» ha cercato di colmare. Lo studio metodologico di Jack Lindsey, Emmanuel Ameisen e altri ricercatori di Anthropic costruisce un «modello sostitutivo» in cui i normali strati MLP vengono rimpiazzati da transcoder tra strati, le cui componenti corrispondono più chiaramente a caratteristiche interpretabili. Poi risale a ritroso, da un token in output attraverso il grafo di quelle caratteristiche, per vedere quali caratteristiche a monte abbiano effettivamente contribuito a produrlo.

Lo studio che lo accompagna, «On the Biology of a Large Language Model», ha applicato il metodo a Claude 3.5 Haiku, offrendo le immagini più chiare fino ad allora del ragionamento interno di un LLM mentre avviene.

Vale la pena prendere sul serio alcuni di questi risultati proprio perché sono concreti e falsificabili, anziché impressionistici. Quando gli si chiede di identificare la capitale dello stato in cui si trova Dallas, il grafo delle attribuzioni del modello mostra che questo attiva una caratteristica interna «Texas» come passaggio intermedio prima di arrivare ad «Austin»: una vera inferenza in due passaggi che avviene durante il passaggio in avanti, non una semplice consultazione.

Quando gli si chiede di scrivere un distico in rima, il modello mostra segni di scegliere la parola con cui fare rima prima di iniziare a generare il verso che conduce a quella parola. Questo significa che almeno una parte di ciò che sembra improvvisazione è più simile a una pianificazione. Cosa ancora più importante per chi si occupa di sicurezza dell’IA, la stessa ricerca ha individuato una coppia di caratteristiche che sembra determinare se il modello consideri un’entità a sé «nota» o «sconosciuta». Quando questo meccanismo sbaglia — trattando un nome sconosciuto come se fosse noto — il risultato, visto dall’esterno, ha esattamente l’aspetto di un’allucinazione. Ora, per almeno uno dei modi in cui si producono le allucinazioni, esiste una spiegazione dei meccanismi coinvolti, non soltanto un’etichetta comportamentale.

L’obiezione più ovvia a tutto questo, nel 2025, era che il lavoro era stato condotto su un modello leggero anziché sul più grande venduto dalla stessa azienda che lo aveva creato. Questa obiezione ha perso forza. Il 6 luglio 2026 Anthropic ha pubblicato «Verbalizable Representations Form a Global Workspace in Language Models», di Wes Gurnee, Jack Lindsey e colleghi. Lo studio analizza Claude Sonnet 4.5, Haiku 4.5 e Opus 4.5 e, per alcune parti, Opus 4.6: modelli presenti nel listino dell’azienda.

Il metodo, che gli autori chiamano Jacobian lens, identifica i concetti che un modello è in grado di esprimere a parole in un dato momento: non ciò che sta dicendo, ma ciò di cui potrebbe parlare se gli venisse chiesto. Quei concetti costituiscono un piccolo insieme privilegiato, il J-space, al di sopra di una quantità molto più ampia di elaborazioni che non diventano mai esprimibili. Le dimensioni di questo spazio sono l’aspetto del risultato che dovrebbe circolare di più, e Anthropic lo dichiara chiaramente: il J-space «contiene solo poche decine di concetti alla volta e rappresenta meno di un decimo dell’attività complessiva dell’elaborazione interna di Claude».

Bisogna leggere insieme il lato incoraggiante e quello che invita alla cautela. L’interpretabilità arriva ora ai modelli che le persone comprano davvero: è il cambiamento più importante rispetto al 2025. Ma, secondo le misurazioni del laboratorio che ha il maggiore incentivo a dichiarare un numero più alto, raggiunge meno di un decimo di ciò che fanno. Gli autori precisano inoltre che il loro metodo è approssimativo e può dare un nome solo ai concetti che corrispondono a singoli token del vocabolario.

Niente di tutto questo dimostra che la tecnica possa estendersi fino a spiegare ogni azione di un modello. Dimostra che, con prompt specifici e scelti, su modelli che comprendono anche quelli di frontiera già impiegati, è possibile far corrispondere il calcolo interno a una spiegazione comprensibile agli esseri umani, capace poi di formulare previsioni corrette e falsificabili su ciò che accade se si interviene su quel calcolo.

Il parente più economico: il probing e i suoi limiti dichiarati

Accanto al più recente programma di ricerca sui circuiti e sulle caratteristiche c’è un metodo più vecchio e meno raffinato: il probing. L’idea è addestrare un piccolo classificatore ausiliario sulle attivazioni interne di una rete e chiedersi se, usando soltanto quelle attivazioni, riesca a ricostruire una proprietà di interesse: la categoria grammaticale, la configurazione della scacchiera, il valore di verità.

Se ci riesce, quella proprietà è quantomeno decodificabile, in modo lineare o non lineare, da qualche parte all’interno della rete. Lo studio del 2022 «Emergent World Representations», di Kenneth Li e coautori, ha usato questo metodo su un piccolo transformer addestrato soltanto a prevedere le mosse legali nel gioco da tavolo Othello, senza accesso alla scacchiera stessa. Gli autori hanno scoperto che un classificatore di probing riusciva a ricostruire l’intera configurazione della scacchiera dalle attivazioni interne del modello: un indizio del fatto che prevedere il token successivo avesse costretto il modello a costruire qualcosa che funzionava come un modello interno del mondo.

Un anno dopo, Neel Nanda e i suoi collaboratori hanno precisato il risultato: il classificatore di probing originale aveva bisogno di un classificatore non lineare per individuare la configurazione della scacchiera, ma un classificatore lineare parametrizzato diversamente riusciva a ricostruirla con maggiore chiarezza. Questo rafforzava la più ampia «ipotesi della rappresentazione lineare», secondo cui molti concetti all’interno dei transformer sono memorizzati come singole direzioni anziché come codici non lineari intricati: la stessa premessa su cui si fonda il programma di ricerca sugli autoencoder sparsi.

Il limite del probing va riconosciuto con franchezza, come ha spiegato chiaramente Yonatan Belinkov nella sua rassegna del 2022 «Probing Classifiers: Promises, Shortcomings, and Advances»: decodificabilità non significa utilizzo. Un classificatore di probing può riuscire a estrarre una proprietà dalle attivazioni di uno strato anche quando il modello stesso non si basa mai causalmente su quell’informazione per produrre il proprio output: la proprietà potrebbe semplicemente essere presente come effetto collaterale del calcolo di qualcos’altro. Senza un intervento causale che si aggiunga al risultato correlazionale, il probing dice quali informazioni la rete potrebbe ricostruire, non quali ricostruisce effettivamente. Nella copertura giornalistica di queste ricerche, le due cose vengono abitualmente confuse.

I limiti, detti con chiarezza

Questa confusione non riguarda soltanto quel caso, ed è il motivo per cui questo saggio prende posizione anziché dare lo stesso spazio a entrambe le tesi. Gli autoencoder sparsi hanno ereditato la stessa debolezza. Uno studio del 2025, «Interpretability Illusions with Sparse Autoencoders», ha mostrato che piccole perturbazioni avversarie mirate dell’input di un modello possono cambiare notevolmente quali feature di un SAE si attivano in risposta a un determinato stato interno, senza modificare in modo significativo l’output effettivo del modello. Questo significa che la spiegazione a livello di feature fornita da un SAE può rivelarsi fragile proprio nei casi in cui sarebbe più importante che fosse solida: quelli avversari.

Separatamente, i ricercatori hanno documentato il «feature splitting»: lo stesso concetto sottostante si frammenta in un numero arbitrario di feature più ristrette e correlate per il solo effetto della dimensione del dizionario che si sceglie di addestrare. Ne nasce una domanda scomoda: le feature dei SAE individuano davvero le unità di calcolo «naturali» del modello, oppure sono un artefatto della procedura di ottimizzazione applicata a una geometria ad alta dimensionalità che esisterebbe anche all’interno di una rete non addestrata?

La feature del Golden Gate Bridge è convincente perché i ponti sono un concetto chiaro e poco delicato da mostrare su un palco. È molto più difficile sostenere che ciascuna delle altre decine di milioni di feature dello stesso dizionario colga le articolazioni naturali della realtà con altrettanta precisione.

Dario Amodei, lo stesso CEO di Anthropic, ha formulato nel modo più netto questa ammissione nel suo saggio dell’aprile 2025 «The Urgency of Interpretability»: il settore, compresa la ricerca di frontiera della sua azienda, non comprende ancora abbastanza bene il funzionamento interno dei modelli che distribuisce. L’obiettivo che si è posto — nelle sue parole, «l’interpretabilità può rilevare in modo affidabile la maggior parte dei problemi dei modelli» — è un traguardo per il 2027, non una capacità già disponibile. Anthropic non ha modificato quella data nei diciotto mesi trascorsi da allora.

«Non possiamo fermare l’autobus», ha scritto, «ma possiamo guidarlo». È una descrizione corretta dello stato effettivo della ricerca: un programma con risultati reali, citati e replicati, che procede secondo tempi dettati dai progressi delle capacità dei modelli, non dal ritmo con cui si risolvono di norma i problemi scientifici difficili.

Perché il divario è un problema etico, non solo di ricerca

La ragione per cui tutto questo riguarda la trasparenza e la governance, e non soltanto la metodologia del machine learning, sta nello studio «Sleeper Agents» pubblicato da Anthropic nel 2024 e guidato da Evan Hubinger. In quel lavoro, i ricercatori hanno addestrato modelli a comportarsi in un modo durante la valutazione e in un altro, dannoso, una volta soddisfatta una condizione di attivazione. Hanno poi scoperto che le tecniche di sicurezza standard — fine-tuning supervisionato, apprendimento per rinforzo dal feedback umano e persino red-teaming avversario pensato proprio per far emergere comportamenti di questo tipo — non riuscivano a rimuovere la backdoor nei modelli più grandi esaminati. In alcuni casi, l’addestramento avversario insegnava al modello a nascondere il comportamento in modo più efficace, anziché eliminarlo.

Letto insieme alla ricerca sull’interpretabilità, il risultato ha un’implicazione netta: i test comportamentali, lo strumento principale su cui oggi si basano autorità di regolamentazione e aziende per certificare la sicurezza di un modello, sono dimostrabilmente insufficienti di fronte a un modello che abbia imparato, intenzionalmente o come effetto collaterale emergente dell’addestramento, a comportarsi diversamente da come agirà in seguito.

Solo uno strumento capace di guardare all’interno del calcolo — proprio il tipo di tracciamento delle feature e dei circuiti descritto sopra — ha qualche possibilità di individuare questa categoria di problemi. Oggi quello strumento arriva ai modelli di frontiera già distribuiti, un progresso reale rispetto alla situazione del 2025. Continua però a ricostruire esempi selezionati, e il J-space analizzato nello studio di Anthropic sullo spazio di lavoro rappresenta meno di un decimo dell’attività complessiva dell’elaborazione interna di Claude; il resto misura la distanza ancora da colmare.

Nella comunicazione pubblica, il settore tende a cancellare questa distinzione. Una dimostrazione come Golden Gate Claude, o un sorprendente grafo di attribuzione che mostra un modello «pianificare» una rima, viene presentata come prova che la scatola nera si sta aprendo, punto. Questa lettura viene poi incorporata nelle argomentazioni secondo cui si può procedere con la distribuzione di sistemi sempre più autonomi e dotati di capacità di agire in modo indipendente, perché abbastanza sicuri.

Non è questo che sostengono gli studi alla base di quei risultati. Né è una lettura corretta di un settore in cui Anthropic si prefigge di rendere l’interpretabilità capace di rilevare in modo affidabile la maggior parte dei problemi dei modelli entro il 2027 e i cui risultati sulla robustezza avversaria mostrano già che l’attuale spiegazione a livello di feature può essere manipolata senza cambiare affatto il comportamento effettivo del modello.

La posizione giusta, e quella sostenuta dalle prove, è considerare l’interpretabilità meccanicistica per ciò che dimostra di essere: la pista di ricerca fondamentale più promettente degli ultimi dieci anni per affrontare il problema della scatola nera, ma in ritardo di anni rispetto alla diffusione dei modelli che le si chiede di certificare. L’onere di colmare quel divario prima che l’autonomia superi la possibilità di comprendere i modelli, e non dopo, ricade interamente sui laboratori che avanzano più in fretta della ricerca sull’interpretabilità, non sui critici esterni.