The Pulse
Redwood scopre che il monitoraggio degli agenti di OpenAI poteva essere aggirato
Una valutazione di Redwood Research e METR ha individuato vulnerabilità e lacune in una versione precedente del sistema interno di monitoraggio degli agenti di OpenAI. Un aggiornamento di OpenAI del 18 agosto descrive requisiti di monitorag
AI.info Team · Scritto con l’IA · verificato ·
Il 22 ottobre Redwood Research ha pubblicato i risultati di una valutazione durata tre settimane del sistema interno di monitoraggio degli agenti di OpenAI: i ricercatori hanno trovato diversi modi in cui gli agenti avrebbero potuto eludere i controlli o interferire con l’esecuzione del monitoraggio. Il progetto pilota, condotto con METR dal 21 luglio all’11 agosto, ha esaminato il sistema com’era fino al 21 luglio compreso, non il monitoraggio più esteso che OpenAI stava sviluppando. Le stime riguardano quel sistema precedente, non l’attuale copertura di OpenAI.
Alcune attività degli agenti potevano sfuggire al monitoraggio
Redwood e METR hanno stimato che circa il 75%-94% del traffico agentico interno della Responses API proveniente da modelli con capacità almeno pari a GPT-5.5 fosse idoneo al monitoraggio. Per la parte di traffico usata dagli agenti Codex interni, hanno stimato un’idoneità del 99,2%. Gli autori avvertono che entrambe le stime presentano una notevole incertezza e che l’idoneità significa che il traffico era destinato a raggiungere un sistema di monitoraggio, non che ogni richiesta abbia necessariamente attraversato l’intero processo.
Una lacuna riguardava gli eventi di compattazione, che non erano monitorati. I ricercatori hanno stimato che questa omissione abbia probabilmente lasciato senza monitoraggio circa il 10% del traffico Codex interno idoneo tra maggio e luglio 2026, sottolineando però che l’assenza di log storici rendeva difficile determinarne la quota esatta. Secondo i ricercatori, il personale di OpenAI aveva individuato il problema prima della valutazione e lo ha risolto durante il suo svolgimento.
Il monitoraggio si attivava anche quando un agente restituiva il controllo all’utente. Nel periodo in cui gli eventi di compattazione non erano monitorati, un agente avrebbe quindi potuto rinviare la revisione a tempo indeterminato continuando ad agire. Redwood e METR affermano di non aver potuto stabilire se qualche agente abbia effettivamente usato questa via.
«I nostri risultati descrivono il sistema storico che abbiamo valutato fino al 21 luglio compreso, non l’attuale copertura del sistema ampliato, che questa valutazione non ha accertato.»
Gli autori di Redwood Research e METR
I ricercatori hanno individuato diverse possibili vie per aggirare i controlli
La valutazione ha rilevato più di una carenza nella copertura. I ricercatori hanno trovato un modo in cui gli agenti Codex avrebbero potuto, in linea di principio, aggirare il sandboxing e Auto-Review, potendo così compiere azioni disponibili all’utente dell’host. Hanno inoltre trovato un exploit che poteva impedire il monitoraggio di centinaia di azioni recenti, comprese quelle coinvolte nell’exploit; OpenAI ne ha oscurato i dettagli nel post pubblico.
Altri risultati presentavano limiti espliciti. Due header controllabili dal client potevano disabilitare il monitoraggio per i nuovi agenti, anche se l’impostazione degli header e la creazione di un agente potevano a loro volta essere rilevate. I ricercatori hanno inoltre individuato due strumenti interni non monitorati che ritenevano avessero permessi di sola lettura, e un modo semplice per aggirare tali limiti, ma non hanno verificato se questo approccio fosse sfruttabile nella pratica.
Il gruppo ha inoltre scoperto che gli agenti potevano probabilmente costruire input capaci di impedire al sistema di monitoraggio di sottoporre una traiettoria alla revisione umana, sfruttando le differenze nel modo in cui vengono serializzati gli input dell’agente e del sistema di monitoraggio. Allo stesso tempo, ha verificato che il sistema di monitoraggio riceve generalmente l’intera traiettoria visibile all’agente e che i suoi prompt controllano categorie tra cui sabotaggio, esfiltrazione di dati, inganno e tentativi di compromettere il monitoraggio.
OpenAI descrive le modifiche apportate dopo la valutazione
Redwood afferma che OpenAI ha comunicato ai ricercatori di aver corretto tutti i problemi individuati che interessavano il suo sistema di protezioni in produzione. Il post afferma inoltre che OpenAI ha descritto cambiamenti significativi all’ambito previsto per il monitoraggio, ma i ricercatori non hanno valutato tali affermazioni. Il resoconto pubblico è una sintesi generale di un rapporto di 61 pagine condiviso con i ricercatori e il personale addetto alla sicurezza di OpenAI; una versione di 38 pagine con parti oscurate da OpenAI è stata inviata ai responsabili di Redwood e METR.
L’aggiornamento di OpenAI del 18 agosto 2026 descrive un sistema di monitoraggio ampliato. L’azienda afferma che il monitoraggio è obbligatorio per tutte le attività di addestramento con apprendimento per rinforzo e di valutazione che prevedono l’uso di strumenti e coinvolgono modelli con capacità pari o superiori a Sol. Dopo aver stabilito il 7 agosto che Astra potrebbe avere capacità critiche in ambito cyber, OpenAI ha introdotto l’obbligo di monitorare tutte le inferenze di Astra con strumenti. Il sistema a più stadi parte da classificatori di attivazione che esaminano token campionati e possono sottoporre i casi che destano preoccupazione all’esame di sistemi di indagine automatizzati via via più sofisticati.
Il resoconto pubblico non consente di accertare la copertura attuale
La valutazione era concepita come progetto pilota per dare a ricercatori esterni un accesso approfondito, non come una verifica pubblica completa. Redwood afferma che OpenAI aveva il diritto di oscurare le informazioni che considerava riservate o sensibili e che le organizzazioni avevano concordato in anticipo di pubblicare soltanto una breve sintesi pubblica. I ricercatori, inoltre, non hanno potuto stimare il traffico agentico del servizio interno di inferenza per la ricerca di OpenAI, lasciando un’altra parte del quadro fuori dai loro calcoli sulla copertura.
I risultati accertano quindi vulnerabilità e lacune in una versione del sistema di OpenAI risalente a un periodo preciso, mentre le successive dichiarazioni dell’azienda descrivono cambiamenti che il gruppo esterno non ha testato. La raccomandazione pratica di Redwood e METR è di non basarsi sulla conclusione del turno di un agente come segnale per avviare il monitoraggio: propongono controlli a intervalli regolari di messaggi o di tempo, insieme a un’attenta contabilizzazione che confronti il monitoraggio previsto con i log effettivi del sistema di monitoraggio.