SAEScientist-Bench: gli agenti di IA possono condurre ricerche autonome sull’interpretabilità con le SAE?

Abstract degli autori

Sebbene la ricerca sull’auto-miglioramento ricorsivo (RSI) abbia automatizzato soprattutto le pipeline di addestramento dei modelli, uno sviluppo autonomo affidabile richiede un pilastro ancora mancante: il monitoraggio e la verifica a posteriori, per capire che cosa apprendono i modelli e garantirne un allineamento sicuro. Gli strumenti di interpretabilità meccanicistica sono essenziali per colmare questa lacuna. Tra questi, gli autoencoder sparsi (SAE) hanno un ruolo fondamentale: isolano feature interpretabili che consentono di esaminare e orientare i modelli. In questo articolo presentiamo SAEScientist-Bench per valutare se gli agenti di IA possano agire da scienziati, usando strumenti basati sulle SAE per compiere scoperte meccanicistiche in autonomia. Dato un concetto bersaglio, un agente progetta test contrastivi ed esplora un dizionario Gemma Scope di 131K+ feature in Gemma-2-9B-IT per individuare la feature ottimale. Il risultato viene valutato rispetto a feature di riferimento selezionate da esperti e ancorate a Neuronpedia, in base al rango di attivazione, alla selettività rispetto al concetto nei testi contrastivi e allo steering causale. Su 10 configurazioni di agenti e 20 compiti, gli agenti più avanzati dimostrano autentiche capacità di scoperta e primeggiano in diverse dimensioni della valutazione, ma restano ben al di sotto del livello di riferimento degli esperti: si avvicinano a tale livello nel distinguere i concetti bersaglio dai controlli contrastivi, mentre sono notevolmente indietro nello steering causale della generazione. Un’ulteriore analisi mostra che, pur sapendo progettare confronti contrastivi per escludere candidati fuorvianti, gli agenti interpretano spesso in modo errato le misurazioni sperimentali. Questi risultati dimostrano che la comprensione sperimentale dei modelli è una capacità misurabile per la ricerca e sviluppo autonoma e a ciclo chiuso nel campo dell’IA. Il nostro codice è disponibile all’indirizzo https://github.com/Trae1ounG/SAEScientist.