The Pulse
OpenAI interrompe una campagna legata a Moonshot per estrarre i ragionamenti dei modelli
OpenAI afferma di aver interrotto un tentativo coordinato di estrarre ragionamenti protetti dai propri modelli, attribuendo un gruppo centrale di partecipanti a persone legate a Moonshot AI. L’azienda ha contato 16.000 richieste riconducibi
AI.info Team · Scritto con l’IA ·
OpenAI ha contato 16.000 richieste che seguivano uno schema di estrazione dei ragionamenti dei modelli nell’arco di due giorni, il 24 e 25 luglio, mentre indagava su una campagna coordinata contro i propri sistemi. Le richieste provenivano da oltre 4.000 utenti, ha dichiarato l’azienda in un rapporto pubblicato il 30 settembre 2026. OpenAI ha poi individuato schemi di prompt correlati in un gruppo di oltre 15.000 utenti e afferma di aver interrotto l’attività entro il 28 luglio.
Come funzionavano i tentativi di estrazione
La campagna mirava ai ragionamenti protetti: contenuti interni che il modello usa per affrontare un compito, ma che non compaiono nella risposta mostrata all’utente. OpenAI ha dichiarato che, tra gli altri metodi, gli operatori hanno tentato di copiare ragionamenti cifrati da una conversazione e di chiedere a un modello, in un’altra conversazione, di decifrarli e trascriverli. Secondo l’azienda, gli operatori non hanno violato la cifratura, compromesso alcun database né ottenuto accesso diretto alle conversazioni degli utenti archiviate.
Le cifre riguardano tentativi di estrazione, non necessariamente estrazioni riuscite. OpenAI non ha comunicato quanti tentativi abbiano prodotto ragionamenti leggibili né ha specificato quali modelli abbiano gestito le richieste. Ha dichiarato che l’attività è iniziata il 1º luglio con volumi ridotti, per poi aumentare nettamente il 24 e 25 luglio.
I ricercatori avevano segnalato debolezze correlate
Ricercatori indipendenti hanno segnalato a OpenAI rischi correlati riguardanti l’uso tra modelli e la compattazione delle conversazioni. OpenAI afferma di aver confermato le modalità d’attacco e di aver sfruttato la segnalazione per ampliare l’indagine e accelerare le misure di mitigazione. Il paper pubblicato dai ricercatori ad agosto, «Stealing Reasoning Traces from Proprietary LLM APIs», descrive un metodo per inserire ragionamenti cifrati in un modello dello stesso fornitore dotato di protezioni meno rigorose.
«In primo luogo, aggira i meccanismi anti-distillazione, consentendo agli avversari di estrarre i ragionamenti di un modello proprietario, come dimostriamo per Anthropic, OpenAI e Google.»
Alexander Panfilov et al., «Stealing Reasoning Traces from Proprietary LLM APIs»
Il risultato del paper riguarda una categoria più ampia di attacchi tecnici, non dimostra che ogni metodo descritto sia stato usato nella campagna osservata da OpenAI. OpenAI afferma di attribuire un gruppo centrale delle attività osservate a persone legate a Moonshot AI, l’azienda dietro Kimi. Precisa che non è chiaro se tutti gli operatori attivi in quel periodo appartenessero a un unico soggetto.
OpenAI ha rafforzato i controlli sugli account e sui ragionamenti
L’azienda afferma di aver bloccato o limitato gli account fraudolenti, rafforzato i controlli sulle registrazioni e sull’infrastruttura e ampliato il monitoraggio delle reti correlate. Ha inoltre chiuso una via che avrebbe potuto consentire a chi già disponeva dei ragionamenti cifrati di un altro utente di ripresentarli per recuperarne il contenuto, e ha aggiunto controlli per trattenere l’output trasmesso in streaming che potrebbe rivelare i ragionamenti.
OpenAI afferma di aver condiviso i risultati attraverso il Frontier Model Forum e i canali governativi per lo scambio di informazioni, e di aver collaborato con fornitori terzi quando attività correlate sono passate attraverso i loro servizi. Considera la distillazione avversaria un rischio che va oltre i propri modelli: i ragionamenti estratti potrebbero contribuire ad addestrare un altro sistema senza trasferirgli le protezioni applicate alle risposte mostrate agli utenti.
Il rapporto lascia aperte due questioni: quanti ragionamenti la campagna sia effettivamente riuscita a recuperare e quanti degli oltre 15.000 account fossero collegati al gruppo centrale legato a Moonshot. OpenAI afferma che l’indagine e il lavoro di mitigazione proseguono.