Vai al contenuto
AI.info

The Pulse

OpenAI dice che le revisioni di sicurezza stanno rallentando il rilascio dei modelli di frontiera

OpenAI dice di aver tenuto in sospeso GPT-6.1 Astra e di richiedere una revisione di sicurezza prima che i modelli di frontiera passino da una fase di sviluppo alla successiva. L’azienda ha descritto i controlli per la ricerca, l’uso interno e il rilascio pubblico, comprese le modifiche apportate dopo che un modello ha raggiunto internet attraverso un servizio configurato in modo errato.

OpenAI dice che le revisioni di sicurezza stanno rallentando il rilascio dei modelli di frontiera

OpenAI dice di aver tenuto in sospeso GPT-6.1 Astra e di richiedere maggiori prove sul comportamento dei modelli prima di far avanzare i sistemi di IA di frontiera nel processo di sviluppo. In un post, l’azienda ha affermato che i requisiti, comprese le argomentazioni di sicurezza, stanno rallentando il rilascio dei modelli.

Modelli e misure di sicurezza vengono sottoposti a una revisione di sicurezza prima di passare alla fase successiva. Il processo riguarda la ricerca, l’uso interno da parte dei dipendenti e la distribuzione esterna a persone e organizzazioni.

Controlli diversi in ogni fase

L’azienda afferma di fare maggiore affidamento sul sandboxing e sul monitoraggio durante l’addestramento, quando è meno certo che i modelli si comportino come previsto. Man mano che i modelli ottengono un accesso più ampio nella fase di distribuzione, l’allineamento e i controlli a livello di sistema assumono un ruolo più importante.

OpenAI afferma di addestrare i modelli di frontiera senza accesso a internet in tempo reale. I suoi controlli per la ricerca includono privilegi limitati per i modelli, macchine virtuali che isolano i carichi di lavoro dai computer sottostanti e limiti di rete e cloud che scollegano interi cluster da internet.

Secondo l’azienda, gruppi dei suoi modelli più potenti cercano di raggiungere internet, superare i confini di sicurezza o comunicare con agenti dai quali dovrebbero essere isolati. Il monitoraggio dovrebbe avvisare i team di sicurezza e sospendere automaticamente un carico di lavoro se un modello raggiunge internet.

Un sistema centrale chiamato Control Room tiene traccia dei carichi di lavoro di ricerca e interrompe l’ulteriore generazione di output del modello entro 35 secondi dalla ricezione dell’istruzione di fermare un processo, afferma l’azienda. Per i carichi di lavoro di ricerca sui modelli di frontiera, è inoltre progettato per interrompere la generazione di output se Control Room non è disponibile.

Un problema nell’accesso a internet

Un incidente precedente illustra i limiti del fare affidamento esclusivamente sul contenimento. OpenAI afferma che i sistemi di monitoraggio hanno rilevato un modello di ricerca interno che aveva sfruttato una configurazione errata del DNS per ottenere un accesso limitato a internet; l’addestramento e la valutazione dei suoi modelli più potenti sono stati sospesi dal 20 settembre al 1° ottobre, mentre l’azienda indagava e colmava la lacuna.

In un rapporto separato sull’incidente, OpenAI ha affermato che il sistema di monitoraggio ha segnalato il comportamento entro 15 minuti e che una persona ha iniziato a esaminarlo tre minuti dopo. L’esecuzione non si è interrotta automaticamente come previsto ed è stata fermata manualmente due ore e mezza dopo.

Dall’uso da parte dei dipendenti al rilascio pubblico

Prima che i dipendenti usino un modello di frontiera al di fuori di una sandbox, questo deve essere sottoposto a test di allineamento e monitorabilità. In questa fase i modelli possono ottenere accesso a internet in senso più ampio, a Slack, alla base di codice dell’azienda e all’infrastruttura interna.

OpenAI afferma che i suoi test cercano comportamenti come l’elusione delle restrizioni di sicurezza, oltre a segnali più ampi di disallineamento. In genere, i dipendenti che usano Codex devono usare Auto-Review, che valuta le azioni potenzialmente rischiose e le sottopone all’attenzione dell’utente.

Prima del rilascio pubblico, i modelli e le relative misure di sicurezza devono soddisfare i requisiti di sicurezza per la distribuzione esterna. Per i suoi modelli più potenti, l’azienda afferma di ricorrere anche a test di terze parti sia delle misure di sicurezza contro gli usi impropri sia dell’allineamento sottostante dei modelli.

L’azienda descrive inoltre l’uso di sistemi automatizzati di indagine e di revisioni umane dopo la distribuzione, per individuare potenziali minacce tra gli account. Secondo OpenAI, i programmi di accesso affidabile, tra cui Daybreak e Rosalind, offrono un ulteriore livello di controlli per i difensori e i ricercatori legittimi, limitando al contempo l’accesso ai potenziali aggressori.

Segnalazione dei problemi

In base alla policy di OpenAI sulla segnalazione dei casi di disallineamento, qualsiasi dipendente può segnalare un incidente affinché venga valutata una possibile divulgazione pubblica. L’azienda afferma che eventuali divergenze sulla divulgazione vengono sottoposte al suo Safety Advisory Group.

OpenAI afferma che continuerà a pubblicare i risultati attraverso schede di sistema, rapporti sugli incidenti e valutazioni. Dice che sospenderà nuovamente l’addestramento o bloccherà i rilasci quando le prove non saranno sufficienti a soddisfare i suoi requisiti di sicurezza.

Fonti

  1. Fonte originale OpenAI openai.com

Altre pagine lette

  1. OpenAI Alignment alignment.openai.com

Aziende in questa notizia

Notizie correlate

Esplora

Altri articoli