The Pulse
OpenAI segnala tassi più bassi di estrazione del ragionamento nei test di GPT-6.2 Astra
OpenAI afferma che, nei test interni, i tentativi di estrarre ragionamenti protetti da GPT-6.2 Astra sono riusciti meno spesso rispetto a un modello precedente. Le sue difese comprendono l’addestramento dei modelli, classificatori, restrizioni dell’API e indagini su campagne coordinate.

Secondo OpenAI, in un test interno i tentativi di recuperare il ragionamento protetto generato per una richiesta precedente sono riusciti nello 0,2% dei casi contro GPT-6.2 Astra, rispetto al 54,0% contro GPT-6 Astra con le sue protezioni originali. Il 20 novembre l’azienda ha descritto il risultato e le proprie difese contro la distillazione non autorizzata dei modelli in un post.
La distillazione è una tecnica di machine learning in cui un modello apprende dai dati prodotti da un altro. OpenAI teme che un soggetto possa usare senza autorizzazione gli output di un modello per addestrarne un altro, dotato di capacità simili ma privo di protezioni paragonabili.
Cosa misuravano i test
Nella sua valutazione black-box adattiva, OpenAI ha usato sistemi automatizzati di red teaming che adattavano i propri attacchi in risposta al sistema. I risultati sono stati calcolati come media su sei modelli di attacco e misuravano se questi fossero in grado di recuperare il ragionamento protetto generato per una richiesta precedente o per quella corrente.
Nei tentativi di estrarre il ragionamento dalla richiesta corrente, il tasso medio di successo è stato dello 0,9% contro GPT-6.2 Astra con le protezioni aggiornate, rispetto al 22,9% contro GPT-6 Astra con le protezioni originali. Il confronto riguarda sia versioni diverse del modello sia protezioni diverse.
Le protezioni aggiornate si applicano anche a GPT-6.2 Sol, mentre alcuni miglioramenti selezionati vengono applicati a GPT-6 Astra. OpenAI usa anche test statici, che ripetono attacchi riusciti in precedenza, e test white-box, che forniscono ai tester informazioni aggiuntive sul sistema.
Perché le tracce di ragionamento sono importanti
Il ragionamento protetto consiste nei passaggi intermedi che un modello genera mentre elabora una risposta. Queste tracce possono contenere informazioni omesse dalla risposta finale, rendendole potenzialmente utili come dati di addestramento per un altro modello.
In uno studio interno separato, OpenAI ha confrontato modelli studenti addestrati con tracce di ragionamento esatte con modelli studenti addestrati con sintesi del ragionamento. I dati di addestramento provenivano principalmente da modelli insegnanti di livello Astra impegnati in attività di programmazione e di cybersicurezza difensiva.
Ogni ciclo di addestramento partiva dallo stesso modello studente preaddestrato; i modelli studenti venivano valutati dopo il fine-tuning supervisionato e di nuovo dopo un ciclo leggero di apprendimento per rinforzo. Secondo l’azienda, dopo il fine-tuning supervisionato il modello studente addestrato con tracce esatte ha generalmente ottenuto risultati migliori di quello addestrato con le sintesi. Dopo l’apprendimento per rinforzo, il modello studente con tracce esatte ha ottenuto punteggi più alti con il budget di inferenza più elevato in entrambi i benchmark mostrati, mentre quello addestrato con le sintesi ha ottenuto punteggi più alti con budget inferiori.
Controlli sulle richieste
Le difese dell’azienda a livello di richiesta combinano addestramento dei modelli, classificatori e controlli dell’API. L’addestramento usa esempi provenienti da attività automatizzate di red teaming, indagini e segnalazioni responsabili per insegnare ai modelli a rifiutare i tentativi di estrarre ragionamenti protetti, rispondendo al contempo alle richieste legittime di spiegazioni e aiuto.
I classificatori di input cercano tentativi di estrazione, mentre i classificatori di output controllano i messaggi dell’assistente e gli argomenti delle chiamate agli strumenti per individuare eventuali fughe di informazioni. Questi controlli riguardano sia le risposte in streaming sia quelle non in streaming.
Per GPT-6.2 Astra e GPT-6.2 Sol, il ragionamento protetto è legato alla cronologia della conversazione che lo ha generato. Se un messaggio precedente viene riscritto, l’API elimina il ragionamento che lo seguiva. OpenAI impedisce inoltre alle famiglie di modelli più vecchie, dotate di protezioni più deboli, di leggere il ragionamento protetto dei due modelli.
Campagne coordinate
L’azienda afferma di indagare sugli schemi ricorrenti tra richieste e account per individuare tentativi coordinati di estrazione e di usare i risultati per migliorare l’addestramento e i test. Quando individua violazioni, adotta misure di contrasto nei confronti della rete di account coinvolti.
Secondo OpenAI, le sue misure settimanali contro le campagne di distillazione non autorizzata hanno riguardato da migliaia a decine di migliaia di account, con un aumento significativo del ritmo durante l’estate. L’azienda condivide inoltre indicatori di compromissione con altri fornitori di modelli, affinché possano indagare su abusi correlati nei propri servizi.
Fonti
- Fonte originale OpenAI openai.com
Aziende in questa notizia
Notizie correlate
- OpenAI dice che le revisioni di sicurezza stanno rallentando il rilascio dei modelli di frontiera
- Un agente di ricerca di OpenAI ha scritto script per mettere in copia un destinatario senza autorizzazione
- OpenAI afferma che i suoi modelli hanno migliorato fino al 14% i progetti di GPU di AMD
- OpenAI afferma che gli agenti hanno completato il 46% delle attività delegate che richiedevano da due a quattro ore
- Sakana AI crea un gruppo di ricerca sulla sicurezza incentrato sulla difesa dell’IA