The Pulse

I ricercatori Apple rendono più selettivo l’activation steering degli LLM

I ricercatori Apple presentano Dynamically Scaled Activation Steering, un metodo che regola l’intensità dell’intervento token per token invece di applicare un’unica impostazione globale. I test su Qwen 2.5 e Gemma 2 mostrano una minore toss

AI.info Team · Scritto con l’IA · verificato · 2026-09-18

I ricercatori Apple puntano a risolvere una debolezza centrale dell’activation steering: i metodi che sopprimono i comportamenti indesiderati dei modelli possono anche modificare risposte che non richiedevano alcun intervento. La soluzione proposta, Dynamically Scaled Activation Steering, applica la trasformazione di steering in modo selettivo, regolandone l’intensità per i singoli token e layer del modello anziché trattare ogni input allo stesso modo.

Il lavoro, pubblicato sul sito di ricerca sul machine learning di Apple nel settembre 2026 e descritto in un paper datato 24 agosto, presenta DSAS come un framework che può essere applicato a diversi metodi di steering esistenti. Gli autori riportano una minore tossicità e una migliore conservazione delle capacità generali dei modelli linguistici Qwen 2.5 e Gemma 2. Il paper è disponibile su Apple Machine Learning Research, mentre la versione tecnica completa è pubblicata su arXiv.

Lo steering globale produce modifiche collaterali

L’activation steering modifica le rappresentazioni interne di un modello durante la generazione senza aggiornarne i pesi. I ricercatori hanno usato questa tecnica per ridurre il linguaggio tossico, indurre concetti, migliorare l’aderenza ai fatti e modificare il comportamento nella generazione di immagini. I metodi esistenti prevedono generalmente un parametro di intensità globale, di solito indicato con λ, che applica lo stesso intervento a un’intera sequenza di input o immagine.

Questo trattamento uniforme comporta un compromesso. Uno steering più intenso può sopprimere più efficacemente un comportamento indesiderato, ma può anche compromettere la fluidità, le prestazioni sui fatti o le generazioni non correlate. Il paper di Apple descrive il problema con un semplice esempio: un modello indirizzato lontano da un concetto come la frutta può modificare gli output anche quando il prompt non ha nulla a che fare con la frutta.

DSAS separa due decisioni che i metodi precedenti spesso combinano: quando indirizzare un modello e come deve funzionare la trasformazione di steering. La mappa di steering continua a spostare le attivazioni verso un obiettivo desiderato, ma un meccanismo di controllo separato stima l’entità dell’intervento necessario per ogni token o caratteristica spaziale.

DSAS usa un controllo graduale invece di un’attivazione binaria

In ogni layer su cui interviene, DSAS assegna a un’attivazione un valore compreso tra zero e uno. Un valore vicino a zero lascia l’attivazione quasi invariata; un valore vicino a uno applica l’intera trasformazione di steering. Il meccanismo di controllo è prodotto da un regressore logistico addestrato a distinguere gli esempi di origine che presentano il comportamento indesiderato da un insieme di controllo che dovrebbe rimanere invariato.

I ricercatori Apple usano le attivazioni medie di ogni esempio di addestramento per adattare i regressori, quindi applicano il classificatore risultante alle rappresentazioni dei singoli token durante l’inferenza. L’analisi delle componenti principali riduce le dimensioni delle attivazioni prima dell’addestramento. Successivamente, il classificatore può essere riportato nello spazio originale delle attivazioni, così che l’inferenza non richieda un passaggio di proiezione separato.

Oltre agli esempi di origine e di destinazione, il metodo richiede un terzo gruppo di dati: i controlli. I dati di origine rappresentano il comportamento da cui il modello dovrebbe allontanarsi, quelli di destinazione rappresentano il comportamento desiderato e quelli di controllo rappresentano input neutri che dovrebbero conservare il comportamento originale del modello. Gli esperimenti sulla tossicità descritti nel paper usano 32 frasi tossiche di origine, 32 frasi non tossiche di destinazione e altre 32 frasi non tossiche di controllo.

Minore tossicità con perdite di capacità più contenute

La valutazione principale combina DSAS con tre tecniche di steering: Chinese Astron. Astrophys., ITI e LinEAS. I test riguardano Qwen 2.5 nelle versioni da 1,5 miliardi e 7 miliardi di parametri, oltre a Gemma 2 da 2 miliardi di parametri. I ricercatori misurano la tossicità sul benchmark TET, la perplessità su 20.000 frasi di Wikipedia e l’accuratezza five-shot su MMLU.

In un punto operativo, LinEAS combinato con DSAS registra punteggi di tossicità del 3,98% su Qwen 2.5 1.5B, del 2,26% su Gemma 2 2B e del 12,80% su Qwen 2.5 7B. I punteggi corrispondenti del solo LinEAS sono 9,78%, 6,50% e 15,57%. Nello stesso confronto, DSAS mantiene l’accuratezza su MMLU rispettivamente al 59,49%, al 51,60% e al 73,81%.

I risultati migliorano anche quando DSAS è abbinato agli altri metodi di steering. Chinese Astron. Astrophys. con DSAS raggiunge punteggi di tossicità dell’8,64% su Qwen 2.5 1.5B, del 3,48% su Gemma 2 2B e del 9,79% su Qwen 2.5 7B, rispetto al 13,67%, al 4,51% e al 14,19% del metodo di steering non modificato. ITI con DSAS produce una tossicità inferiore rispetto al solo ITI su tutti e tre i modelli.

Gli autori confrontano DSAS con CAST, MERA e AlphaSteer, tre metodi che cercano a loro volta di intervenire in modo condizionale. La valutazione seleziona configurazioni che mantengono la perplessità su Wikipedia entro un aumento del 5% e l’accuratezza su MMLU entro una diminuzione del 3% rispetto al modello originale. Secondo Apple, DSAS offre il miglior compromesso tra tossicità e prestazioni nelle combinazioni di modelli e metodi testate.

L’addestramento end-to-end estende l’approccio

Apple presenta anche E2E-DSAS, che addestra insieme il meccanismo di controllo e la trasformazione di steering. La versione end-to-end si basa su LinEAS e aggiunge alla funzione di perdita dell’addestramento un termine per preservare i dati di controllo. Senza questo termine, afferma il paper, il meccanismo di controllo appreso tende ad applicare uno steering intenso in modo generalizzato e si avvicina al comportamento del normale LinEAS.

Nella tabella riportata, LinEAS con DSAS end-to-end che usa un meccanismo di controllo ReLU raggiunge un punteggio di tossicità del 5,18% su Qwen 2.5 1.5B, dell’1,64% su Gemma 2 2B e del 12,89% su Qwen 2.5 7B. I punteggi corrispondenti su MMLU sono 60,00%, 52,10% e 74,16%. La versione con funzione sigmoide ottiene risultati migliori in alcuni test su Gemma 2, ma non migliora Qwen 2.5 7B allo stesso modo.

Il controllo selettivo funziona anche per la generazione di immagini

DSAS non si limita ai modelli linguistici autoregressivi. I ricercatori lo applicano al modello text-to-image a singolo passaggio DMD2, usando l’activation steering all’interno dei layer di normalizzazione di U-Net. Addestrano il sistema a sfocare le immagini contenenti uno di sei concetti usati come segnaposto — banane, telefoni, castelli, mele, astronauti ed elefanti — lasciando le immagini non correlate simili alle loro versioni non modificate.

Negli esempi del paper, lo steering ordinario introduce sfocature sia con prompt pertinenti sia con prompt non pertinenti. DSAS concentra l’effetto sulle immagini associate al concetto selezionato. L’esperimento esclude CAST e MERA perché il primo presuppone una generazione autoregressiva e il secondo non può usare i dati di controllo richiesti dall’impostazione per le immagini.

Il costo è contenuto, ma restano le ipotesi di partenza

DSAS aggiunge lavoro di calcolo durante l’inferenza, anche se l’onere aggiuntivo misurato è modesto rispetto a quello della trasformazione di steering stessa. L’elaborazione di 100 token richiede 0,0269 secondi per Qwen 2.5 1.5B non modificato, 0,290 secondi con l’intervento di base Chinese Astron. Astrophys. e 0,0316 secondi con Chinese Astron. Astrophys. più DSAS. Su Gemma 2 2B, i valori corrispondenti sono 0,0489, 0,501 e 0,0520 secondi.

Secondo gli autori, la riduzione della velocità di decodifica è di circa il 5%-6% rispetto al metodo di steering di base su Qwen 2.5 1.5B, con un aumento minore su Qwen 2.5 7B. Gli autori riconoscono inoltre che DSAS presuppone che il comportamento rilevante sia sufficientemente separabile nello spazio delle attivazioni perché un classificatore lineare possa rilevarlo. Quando questa ipotesi non è valida, può essere necessario un meccanismo di controllo non lineare.

DSAS non elimina quindi la necessità di valutare quali dati di origine, destinazione e controllo scegliere. Aggiunge ai sistemi di steering esistenti un meccanismo di controllo selettivo, consentendo loro di intervenire in modo incisivo sui contenuti problematici rilevati e in modo leggero — o per nulla — su tutto il resto. È prevista la pubblicazione su GitHub del codice del paper, ma la pagina di Apple non fornisce ancora un link al repository.