The Pulse
OpenAI illustra i sistemi di monitoraggio addestrati sull’attività interna dei modelli
OpenAI afferma che i classificatori delle attivazioni monitorano l’attività interna dei modelli insieme ai classificatori testuali, nell’ambito del suo sistema di sicurezza. Le sonde possono valutare i prefissi delle risposte durante la gen
AI.info Team · Scritto con l’IA · verificato ·
I controlli testuali incontrano i segnali interni
I classificatori testuali già in uso presso OpenAI operano sui prompt degli utenti e sui completamenti dell’assistente; i suoi classificatori delle attivazioni leggono invece gli schemi all’interno del modello mentre produce una risposta. L’azienda descrive i due approcci come livelli di un sistema di sicurezza basato sulla «difesa in profondità», non come alternative l’uno all’altro. A partire da GPT-5.6, OpenAI afferma di aver aggiunto i classificatori delle attivazioni allo stack per tutti i completamenti dell’assistente. L’azienda riferisce di utilizzare sonde sul traffico interno ed esterno dei suoi modelli più avanzati.
OpenAI afferma che le sonde possono prendere decisioni in streaming e bloccare a metà un turno del modello che viola una policy. L’azienda sostiene inoltre che le sonde sono più efficienti da eseguire e più robuste ai jailbreak rispetto a classificatori testuali significativamente più grandi. Il post avverte che i dati del rapporto provengono da esperimenti interni e potrebbero non essere rappresentativi dei classificatori in uso.
Ogni sonda è legata al proprio modello
Una sonda riceve un vettore di attivazioni del flusso residuo, in genere da un livello vicino alla metà del modello, e produce logit per un compito di classificazione binaria, come stabilire se un completamento viola una policy. Durante l’inferenza, la sonda calcola un punteggio per ogni prefisso del messaggio man mano che la risposta dell’assistente viene campionata. Questo le consente di segnalare un messaggio non appena il suo punteggio supera una soglia.
Questa progettazione comporta anche un vincolo: le sonde dipendono dalle attivazioni del modello che monitorano. OpenAI afferma che una sonda addestrata sulle attivazioni di un modello si comporterà generalmente in modo diverso su un altro modello con una diversa inizializzazione dei pesi, e deve quindi essere riaddestrata per ogni nuovo modello di base preaddestrato. Anche all’interno di una stessa famiglia di modelli, le prestazioni possono diminuire man mano che i pesi si discostano dal checkpoint usato per addestrare la sonda, rendendo necessario un riaddestramento periodico.
L’addestramento usa conversazioni etichettate e prove ripetute
OpenAI addestra le sonde su attivazioni raccolte da una combinazione di conversazioni sintetiche e private dei dati identificativi. L’azienda usa in genere fino a 1 milione di messaggi di addestramento e afferma che i miglioramenti nella classificazione proseguono fino a questa scala. I suoi modelli di ragionamento più avanzati forniscono le etichette, valutando se gli esempi rientrano nelle categorie monitorate.
Secondo il post, le prestazioni delle sonde variano in base all’inizializzazione casuale, perciò OpenAI addestra in genere almeno 32 inizializzazioni per ogni configurazione di iperparametri. Il team seleziona un seed usando un dataset di validazione, quindi verifica la configurazione scelta su un insieme di valutazione separato e tenuto da parte. L’addestramento usa AdamW per meno di cinque epoche e l’azienda afferma di poter addestrare decine di sonde insieme su un acceleratore in un tempo quasi pari a quello richiesto per una sola, vettorizzando e fondendo i pesi delle sonde durante l’addestramento.
Lo streaming può interrompere una risposta e i suoi strumenti
Le sonde di OpenAI vengono eseguite direttamente sul motore di inferenza e restituiscono un logit per ogni token campionato. Il sistema registra i logit dei classificatori insieme a ogni token campionato. Ogni volta che un logit supera una soglia, interrompe lo streaming del completamento verso l’utente e inoltra il messaggio a un modello di ragionamento per il giudizio finale. Anche le chiamate agli strumenti vengono bloccate finché la chiamata non viene contrassegnata come sicura.
I ricercatori di OpenAI Alex Makelov, Xiaojun Xu, Sundaram Ananthanarayanan, Ethan Mcdonald e Tom Dupre la Tour, autori del post, scrivono:
Le sonde vengono eseguite in streaming, direttamente sul motore di inferenza, mantenendo solo un buffer minimo per il pooling dei token, e restituiscono un logit per ogni token campionato.
Per decidere se mettere in uso le sonde, il team misura la recall su un piccolo dataset accuratamente etichettato e misura separatamente il tasso di inoltro su un dataset più ampio, pensato per rappresentare l’uso previsto. Verifica la resistenza ai jailbreak mediante red-teaming automatizzato e manuale. OpenAI afferma che i suoi esperimenti hanno rilevato che le sonde sono complessivamente più robuste ai jailbreak rispetto ai classificatori basati sul contenuto, avvertendo però che gli attaccanti nel mondo reale possono adattarsi ai segnali provenienti dal sistema di sicurezza.
Risultati migliori non eliminano i limiti
Gli autori riferiscono che le prestazioni delle sonde migliorano con le capacità del modello monitorato e continuano ad aumentare sui modelli di frontiera. Rilevano inoltre un’eccellente trasferibilità tra molti checkpoint di post-training, ma una trasferibilità più limitata tra checkpoint di preaddestramento. A questi risultati si affiancano i limiti operativi descritti nel post: le sonde coprono solo forme di attività indesiderata etichettate e misurabili, e una sonda addestrata su un modello di base non può essere semplicemente trasferita a un modello diverso.