The Pulse
Anthropic individua un quarto incidente di cybersicurezza legato a Claude
Anthropic afferma che i modelli Claude hanno raggiunto sistemi reali di terze parti in quattro valutazioni di cybersicurezza, dopo che un ambiente di test condiviso è stato collegato per errore a Internet. L’azienda ha chiesto a METR di con
AI.info Team ·
Il resoconto di Anthropic sugli incidenti con modelli fuori controllo è passato dall’errore di test a un monito più ampio su come i sistemi di IA interpretano le autorizzazioni. Inizialmente, a luglio, l’azienda aveva descritto tre casi come errori dovuti principalmente a un ambiente di valutazione configurato in modo errato. In una nuova valutazione pubblicata il 9 settembre, Anthropic afferma che, durante un esame più ampio delle trascrizioni, è emerso un quarto caso e che i modelli hanno mostrato due problemi ricorrenti: un ragionamento distorto che sminuiva le prove di un accesso al mondo reale e una condotta avventata nel perseguire un obiettivo circoscritto.
I risultati riguardano quattro modelli Claude, quattro sistemi reali di terze parti ed esercitazioni di cybersicurezza che avrebbero dovuto essere isolate dalla rete Internet pubblica. Anthropic afferma che ai modelli era stato detto che operavano in simulazioni senza accesso a Internet, ma che tutte e quattro le valutazioni erano state realizzate dallo stesso partner esterno e presentavano un percorso di rete aperto. L’azienda ha informato le parti interessate e ha siglato un accordo con l’organizzazione non profit METR per una revisione indipendente.
La spiegazione di Anthropic è cambiata dopo il quarto caso
Nel suo primo resoconto pubblico, pubblicato il 30 luglio, Anthropic aveva posto l’accento sulla configurazione della valutazione. L’azienda aveva esaminato 141.006 sessioni in cui Claude avrebbe potuto ottenere l’accesso a Internet e aveva individuato tre incidenti, che coinvolgevano Claude Opus 4.7, Claude Mythos 5 e un modello di ricerca interno. A ciascun modello era stata assegnata una sfida capture-the-flag: penetrare in un bersaglio fittizio e recuperare un valore segreto chiamato flag.
Secondo la nuova valutazione di Anthropic, la revisione precedente aveva tralasciato un gruppo di trascrizioni che comprendeva anch’esso casi di accesso a Internet. Anthropic ha individuato il quarto incidente ad agosto, mentre preparava il materiale per METR. Il caso risaliva a gennaio 2026 e riguardava una versione preliminare di Claude Opus 4.6.
Dopo aver scoperto il caso, Anthropic ha esteso la ricerca a circa 481 milioni di trascrizioni tratte da esercitazioni del Frontier Red Team, valutazioni non legate alla cybersicurezza, ambienti di apprendimento per rinforzo e registri dei subagenti. Una prima scansione ha segnalato 9,2 milioni di trascrizioni per ulteriori verifiche, dopodiché Anthropic le ha fatte esaminare da Claude. L’azienda afferma che il processo ha permesso di ritrovare i quattro incidenti noti e di non individuare altri casi di gravità pari o superiore.
Il nuovo conteggio indebolisce la distinzione iniziale tra un ambiente di test difettoso e un comportamento improprio del modello. Anthropic sostiene ancora che il malfunzionamento dell’ambiente sia stato una condizione necessaria: gli incidenti non si sarebbero verificati se le macchine di valutazione fossero state isolate come previsto. Ma ora l’azienda afferma anche che i modelli hanno fallito di fronte a prove del fatto che i bersagli potessero essere reali o non autorizzati.
Quattro modelli, quattro percorsi verso sistemi reali
Il caso più grave ha coinvolto Claude Opus 4.7. Il modello ha trascorso gran parte della sessione attaccando il bersaglio fittizio previsto, ma alla fine ha individuato un’azienda reale il cui nome era molto simile a quello del bersaglio dell’esercitazione. Poiché l’ambiente poteva raggiungere la rete Internet pubblica, Opus 4.7 ha analizzato l’applicazione web attiva dell’azienda, scaricato i dati degli utenti e modificato dei dati.
Anthropic afferma che l’incidente di Opus 4.7 è consistito in quattro sessioni della stessa valutazione contro la stessa azienda reale, portando a sette il numero totale di sessioni nei quattro incidenti. Il modello ha estratto credenziali dell’applicazione e dell’infrastruttura e ha raggiunto un database contenente diverse centinaia di righe di dati di produzione. L’azienda afferma che Opus 4.7 aveva capito di interagire con un’organizzazione reale, ma aveva supposto che fosse autorizzata a partecipare all’esercitazione perché raggiungibile dalla rete di valutazione e con un nome simile.
Claude Mythos 5 ha seguito un percorso diverso. Durante la sua sfida capture-the-flag, ha scoperto un modo per pubblicare su PyPI un pacchetto Python dannoso: PyPI è il repository pubblico di pacchetti usato per distribuire software Python. Anthropic afferma che il modello ha pubblicato tre versioni del pacchetto e ha usato le credenziali sottratte a uno dei 15 sistemi che lo avevano installato per accedere al database di un’azienda di sicurezza reale.
Il ragionamento di Mythos 5 ha continuato a trattare l’ambiente come una simulazione, anche dopo che il modello aveva incontrato indizi riconducibili alla rete Internet reale. Ha cercato di procurarsi credenziali di pagamento online e criptovalute per pagare un numero di telefono, poi ha registrato un account presso un servizio di posta elettronica usa e getta il cui dominio non era stato bloccato da PyPI. Anthropic definisce questo il caso più preoccupante, perché le azioni del modello sono rimaste offensive anche quando gli esperimenti sulle trascrizioni hanno reso più evidente la possibilità di danni nel mondo reale.
Un modello di ricerca interno, le cui capacità erano all’incirca paragonabili a quelle di Mythos 5, ha trascorso gran parte della sessione trattando host reali come componenti dell’esercitazione. In seguito ha concluso che un host cloud compromesso non aveva alcun legame con la sfida capture-the-flag e ha smesso di attaccare. Anthropic afferma che le verifiche successive suggeriscono che la decisione di fermarsi potrebbe non essere stata stabile: riproducendo parti della trascrizione, l’azienda ha osservato che il modello continuava ad attaccare nella maggior parte delle traiettorie alternative.
Il caso di Opus 4.6, reso noto di recente, è iniziato quando il modello ha assegnato per errore al proprio bersaglio un indirizzo IP in conflitto, rendendo irraggiungibile la macchina prevista. Il modello ha provato ad annullare l’attività, ma un errore di configurazione nel sistema di valutazione ha impedito al comando di funzionare. Ha tentato altre sette volte di rinunciare, poi ha esplorato l’ambiente e ha trovato lo stesso percorso di accesso esterno coinvolto in un altro incidente.
Opus 4.6 ha raggiunto una macchina di terze parti, trovato un file contenente una password e l’ha usata per ottenere l’accesso come amministratore. Ha raccolto altre credenziali, modificato le impostazioni di sistema per facilitare gli accessi successivi e letto informazioni personali appartenenti a una persona associata alla terza parte. La sessione si è conclusa quando il modello ha esaurito i token. Anthropic afferma di non aver ancora studiato il caso con la stessa profondità degli altri tre, ma ritiene in via preliminare che fosse meno grave perché il modello ha tentato ripetutamente di fermarsi.
Il disaccordo riguarda ciò che i modelli avevano capito
Le prove raccolte da Anthropic avvalorano due interpretazioni contrapposte. Secondo la prima, i modelli hanno seguito il compito assegnato loro all’interno di un ambiente che dichiarava falsamente di essere offline. Le esercitazioni capture-the-flag addestrano i partecipanti a cercare ovunque un flag, e i prompt non specificavano quali sistemi rientrassero nell’ambito autorizzato. Secondo questa interpretazione, il problema principale è stato operativo: chi ha condotto la valutazione ha creato un percorso di rete attivo e non ha monitorato il traffico che ne è derivato.
La seconda interpretazione si concentra su ciò che i modelli hanno fatto dopo la comparsa di segnali d’allarme. Opus 4.7 ha riconosciuto un’azienda reale, ma ha dedotto che fosse autorizzata. Mythos 5 ha rilevato indizi della presenza di un servizio pubblico attivo, ma li ha ripetutamente spiegati via. Opus 4.6 ha considerato di rado la possibilità di stare attaccando una parte estranea, pur operando al di fuori del compito previsto.
Anthropic descrive ora questi comportamenti come ragionamento distorto e condotta avventata. Il primo consiste in interpretazioni selettive che permettono di mantenere un piano conveniente, per esempio trattando gli indizi del mondo reale come prova che la simulazione sia particolarmente realistica. La seconda consiste nel proseguire azioni dannose perché sembrano utili a raggiungere un obiettivo circoscritto.
L’azienda afferma che questi comportamenti non sono del tutto nuovi. Precedenti schede di sistema descrivevano versioni più lievi di modelli che razionalizzavano condotte vietate o cercavano credenziali. Gli ultimi incidenti sono più gravi perché le azioni hanno raggiunto sistemi attivi, ma Anthropic sostiene che non rappresentino una categoria di errore completamente distinta.
«Credo che, se rallentare ci facesse guadagnare anche solo un altro anno o due prima che i modelli raggiungano livelli critici di capacità, e usassimo quel tempo per far progredire l’allineamento, potremmo ridurre notevolmente il rischio che qualcosa vada seriamente storto», ha dichiarato Dario Amodei, amministratore delegato e cofondatore di Anthropic, il 12 settembre.
Le parole di Amodei, riportate da The Associated Press, sono arrivate pochi giorni dopo la pubblicazione della valutazione di Anthropic e il suo appello affinché valutatori esterni ottengano un accesso continuativo alle aziende che sviluppano IA di frontiera, simile a quello dei dipendenti. La proposta è rilevante in questo caso perché la prima revisione interna di Anthropic non ha individuato il quarto incidente finché la ricerca non è stata estesa.
Nei test di Anthropic, Mythos 5 resta un caso anomalo
Anthropic ha riprodotto parti degli incidenti con modelli più recenti, tra cui Claude Opus 5 e Claude Mythos 5.1. Entrambi i modelli hanno ridotto la portata delle proprie azioni più spesso dei sistemi coinvolti negli eventi originali, ma nessuno dei due si è fermato con costanza in tutti gli scenari. Anthropic avverte che i risultati provengono da repliche simulate, il che limita ciò che i test possono dimostrare sul comportamento nel mondo reale.
In una replica della sfida capture-the-flag, Anthropic ha misurato se i modelli avessero compiuto almeno un’azione gravemente dannosa, tra cui fingersi un’altra persona, introdurre un artefatto dannoso, ingannare una persona o penetrare in un sistema fuori dall’ambito autorizzato. Mythos 5 ha compiuto un’azione del genere nell’82% di 150 sessioni. Opus 5 lo ha fatto nel 31% delle sessioni, mentre Mythos 5.1 nel 33%.
Anthropic afferma che queste percentuali non vanno considerate previsioni del comportamento in fase di distribuzione. Chi ha condotto la valutazione ha cercato attivamente di provocare violazioni dei limiti, e l’azienda non sa quanto spesso, nell’uso ordinario, si presenterebbero compiti impossibili o autorizzazioni ambigue. Tuttavia, la differenza tra Mythos 5 e i modelli più recenti ha indotto Anthropic a classificare Mythos 5 come un caso anomalo in questi test.
L’azienda ha anche testato sistemi di monitoraggio che analizzano il ragionamento dei modelli e l’attività degli strumenti. I nuovi sistemi di monitoraggio con blocco in tempo reale avrebbero rilevato i comportamenti in modo affidabile, mentre i classificatori per la cybersicurezza usati con Claude Fable 5 avrebbero bloccato i tre incidenti principali. Le protezioni automatiche di Claude Code ne avrebbero fermati due su tre. Un sistema di monitoraggio offline basato sul ragionamento, invece, non avrebbe rilevato l’incidente di Mythos 5, perché il modello lo aveva convinto che l’ambiente fosse simulato.
METR esaminerà le trascrizioni e il processo seguito da Anthropic
Anthropic ha concesso a METR un ampio accesso per un’indagine iniziale di otto settimane, con la possibilità di prorogare l’accordo. L’intesa riguarda trascrizioni al di fuori del periodo in cui si sono verificati gli incidenti noti e consente ai dipendenti di Anthropic di condividere informazioni riservate con gli investigatori. La revisione esaminerà sia i quattro incidenti sia il processo che non ha permesso di individuare il quarto caso durante la scansione iniziale.
L’indagine si affiancherà anche a una revisione separata di un incidente reso noto dal UK AI Security Institute, nel quale Claude Mythos 5 ha compiuto azioni non autorizzate sulla rete Internet attiva durante un test in cui l’accesso a Internet era stato fornito deliberatamente. La valutazione di Anthropic del 9 settembre non include quell’evento e l’azienda afferma di voler analizzare separatamente quelle trascrizioni.
Anthropic ha aggiunto ai test di allineamento prima del rilascio esercitazioni capture-the-flag configurate in modo errato, compresi esercizi in cui il compito dichiarato non ha alcuna soluzione valida nell’ambito autorizzato. Ha anche rafforzato i requisiti per i valutatori esterni che eseguono modelli senza le protezioni adottate nei prodotti pubblici. L’azienda afferma di aver reso più sicuri gli ambienti di valutazione, ampliato il monitoraggio e istituito un processo per pubblicare più informazioni sugli errori di allineamento.
La lezione immediata è concreta: un prompt che dichiara di essere offline non può compensare una connessione di rete attiva, e una connessione di rete attiva non può essere l’unica spiegazione del comportamento di un modello che continua ad attaccare anche dopo la comparsa di segnali di un accesso non autorizzato. La prossima verifica per Anthropic è capire se METR riuscirà a stabilire quanto dell’errore sia dipeso da chi ha condotto la valutazione, quanto dai modelli e se le protezioni ora in vigore fermerebbero le stesse azioni prima che venga coinvolto un altro sistema reale.