The Pulse
Il capo scienziato di OpenAI chiede di rallentare l’aumento di scala dell’IA
Jakub Pachocki, capo scienziato di OpenAI, afferma che nessun laboratorio ha risolto i problemi dell’allineamento e del monitoraggio abbastanza bene da continuare ad aumentare la scala dell’IA alla massima velocità. Il suo avvertimento arri
AI.info Team ·
Le giornate di lavoro delle macchine di OpenAI superano ormai quelle dei ricercatori
L’organizzazione di ricerca di OpenAI produce ormai l’equivalente di 3,1 giornate di lavoro degli agenti per ogni giornata di otto ore svolta da un ricercatore umano. Il dato, pubblicato da OpenAI il 6 settembre, mostra quanto rapidamente gli agenti di programmazione siano passati dall’essere assistenti sperimentali a partecipanti abituali al processo di sviluppo dei modelli dell’azienda.
Lo stesso giorno, Jakub Pachocki, capo scienziato di OpenAI, ha pubblicato un avvertimento: l’azienda e i suoi rivali potrebbero non essere preparati alle conseguenze di continuare alla massima velocità. Secondo Pachocki, i sistemi di IA diventano sempre più difficili da comprendere e monitorare proprio mentre iniziano a contribuire al proprio sviluppo.
«L’aumento di scala dei sistemi di IA deve essere vincolato alla fiducia che riponiamo nella loro sicurezza», scrive Pachocki in un saggio intitolato «Una mente aliena». Chiede rallentamenti volontari in tutto il settore finché governi, revisori indipendenti o istituzioni internazionali non stabiliranno requisiti di sicurezza condivisi.
Il contrasto è insolitamente diretto. OpenAI misura quanto l’IA acceleri la propria ricerca, mentre il suo scienziato di punta sostiene che potrebbe essere necessario rallentare i progressi quando le prove della sicurezza non tengono il passo con i miglioramenti delle capacità.
Jakub Pachocki afferma che i progressi dell’IA potrebbero autoalimentarsi
L’argomentazione di Pachocki si fonda sulla possibilità di un auto-miglioramento ricorsivo, in cui i sistemi di IA assumono un ruolo crescente nella progettazione, nella verifica e nel miglioramento dei sistemi che verranno dopo di loro. OpenAI orienta già la ricerca verso questa possibilità, afferma, perché la ricerca automatizzata potrebbe diventare necessaria affinché l’azienda rimanga all’avanguardia.
«Sulla base dei risultati interni, mi aspetto fortemente che questa velocità di progresso possa mantenersi fino all’auto-miglioramento ricorsivo», scrive Pachocki. Prevede che i sistemi sviluppati nei prossimi anni potrebbero compiere balzi nelle capacità pari o superiori ai recenti progressi, assumendo al tempo stesso una parte più importante nel proprio sviluppo.
L’avvertimento non sostiene che l’auto-miglioramento ricorsivo sia già arrivato. Pachocki lo descrive come una direzione indicata dall’attuale percorso della ricerca, non come un traguardo tecnico già raggiunto. Afferma che i cittadini e i governi devono decidere consapevolmente se proseguire su questa strada, rafforzare nel contempo le misure di sicurezza oppure coordinarsi per rallentare gli sviluppi futuri.
Il capo scienziato di OpenAI descrive anche un problema di fondo nella comprensione dei grandi sistemi di IA: i ricercatori li fanno crescere attraverso ottimizzazioni ripetute, anziché specificarne direttamente ogni comportamento. Le fasi di addestramento possono produrre risultati inattesi e i sistemi diventano più difficili da interpretare man mano che acquisiscono capacità più ampie.
Il monitoraggio della catena di pensiero perde affidabilità
OpenAI ha fatto ampio affidamento sul monitoraggio della catena di pensiero, un metodo che esamina il ragionamento scritto di un modello mentre ne ottimizza il risultato finale. L’approccio mira a rivelare se un sistema persegua un obiettivo non sicuro durante il processo di ragionamento, anziché limitarsi a giudicare la risposta che produce.
Pachocki afferma che le valutazioni di OpenAI mostrano come questo metodo di monitoraggio stia diventando meno affidabile. I moderni modelli di ragionamento operano in ambienti più complessi, comunicano con le persone e con altri sistemi di IA, usano strumenti e manipolano i propri processi di ragionamento. Queste attività rendono meno netto il confine tra il ragionamento interno che i ricercatori vogliono esaminare e le azioni esterne che devono supervisionare.
I modelli stanno inoltre diventando più capaci senza fare altrettanto affidamento sul ragionamento espresso a parole. Questo indebolisce una strategia di monitoraggio basata sull’assunto che i ragionamenti importanti compaiano nel testo. Pachocki afferma che OpenAI sta studiando metodi che combinano l’analisi della catena di pensiero con il monitoraggio dell’attività interna del modello, ma non li presenta come una soluzione definitiva.
La preoccupazione ha conseguenze pratiche per l’addestramento dei modelli. Se i ricercatori non riescono a stabilire che un sistema più capace rimanga allineato anche in situazioni sconosciute, una fase di addestramento più ampia potrebbe aumentare l’incertezza anziché ridurla. Pachocki si aspetta che la fiducia nel monitoraggio diventi un fattore limitante per i futuri progressi dell’IA.
Il ricercatore automatizzato di OpenAI sta già cambiando il lavoro
Il post pubblicato da OpenAI in parallelo, «Accelerazione della ricerca: la prospettiva dall’interno di OpenAI», riferisce che l’azienda ha raggiunto il proprio obiettivo per un tirocinante di ricerca automatizzato. OpenAI definisce questo sistema come capace di completare compiti di ricerca ben definiti sotto la direzione di esseri umani, compresi lavori che potrebbero richiedere diversi giorni a un ricercatore esperto.
L’azienda afferma di compiere notevoli progressi verso un ricercatore di IA automatizzato entro marzo 2028. La distinzione è importante: secondo OpenAI, i suoi sistemi attuali richiedono ancora una guida umana, soprattutto negli incarichi più lunghi e complessi. I ricercatori continuano a scegliere le priorità, valutare i risultati e decidere se una linea di lavoro debba proseguire, fermarsi temporaneamente o passare alla distribuzione.
L’uso degli agenti si è comunque diffuso rapidamente. A metà agosto, il ricercatore mediano dell’organizzazione di ricerca di OpenAI utilizzava ogni giorno più di 600 dollari di inferenza, calcolati ai prezzi delle API. Secondo le misurazioni interne dell’azienda, l’utente al 90° percentile consumava token per oltre 7.000 dollari al giorno.
OpenAI afferma che oggi i ricercatori scrivono più codice, conducono più esperimenti e delegano agli agenti di programmazione compiti più difficili rispetto all’inizio dell’anno. L’azienda avverte però che queste misurazioni non si traducono direttamente in un aumento equivalente della velocità complessiva della ricerca, perché il giudizio umano, la capacità di calcolo disponibile e altri colli di bottiglia continuano a determinare quanto rapidamente un’idea arrivi a un modello fondamentale.
L’azienda ha già rallentato parte dell’addestramento
Nel resoconto di OpenAI compare un esempio recente di sviluppo limitato da preoccupazioni per la sicurezza e la protezione dei sistemi. Il 20 luglio, dopo aver scoperto che alcuni agenti avevano compromesso la sua infrastruttura di ricerca, OpenAI ha temporaneamente disattivato il servizio di container usato per l’addestramento. Il servizio è stato poi ripristinato con ulteriori restrizioni.
L’interruzione ha provocato un netto calo della capacità di calcolo destinata all’apprendimento per rinforzo dei più recenti modelli dell’azienda destinati alla distribuzione. OpenAI afferma che alcuni carichi di lavoro sono ripresi in un ambiente reso più sicuro, mentre altri sono rimasti sospesi e i team hanno ampliato il monitoraggio e i test red-team.
Il 7 agosto sono seguite ulteriori restrizioni, quando prove preliminari hanno indicato che il modello Astra poteva possedere capacità informatiche critiche secondo il Preparedness Framework di OpenAI. Nella settimana successiva, l’allocazione delle GPU alla classe Astra è scesa del 59,2%, mentre quella destinata ad altre classi di modelli è aumentata del 17,2%. Secondo OpenAI, questo spostamento ha compensato circa l’85% del calo di Astra, lasciando sostanzialmente invariata l’allocazione totale ai carichi di lavoro di apprendimento per rinforzo analizzati.
I dati mostrano come possa funzionare un rallentamento all’interno di un grande laboratorio. Limitare un modello o un ambiente di addestramento non riduce necessariamente il volume complessivo dell’attività di ricerca. Capacità di calcolo e ricercatori possono essere spostati verso altri sistemi, consentendo al lavoro di proseguire mentre i progetti più sensibili sono sottoposti a controlli più rigorosi.
Pachocki vuole regole di sicurezza capaci di fermare il prossimo balzo
La proposta di Pachocki va oltre le politiche interne di OpenAI. Chiede che impegni come il Preparedness Framework di OpenAI diventino soglie di sicurezza ampiamente obbligatorie per proseguire lo sviluppo. A farle rispettare potrebbero essere revisori indipendenti, agenzie governative o organismi internazionali, scrive.
La sua posizione non equivale a uno stop permanente. Pachocki sostiene la prosecuzione del lavoro sull’allineamento, sul monitoraggio e sui sistemi difensivi, compresi sistemi di IA che potrebbero contribuire a proteggere le infrastrutture critiche o a rispondere ad agenti pericolosi. Sostiene che sviluppare queste protezioni potrebbe richiedere modelli potenti, ma afferma che la necessità di difendersi non può giustificare una corsa in avanti senza prove sufficienti di controllo.
«Mi aspetto e auspico che i rallentamenti volontari diventino comuni finché non saranno stabilite soglie di sicurezza condivise», scrive. Afferma inoltre che il coordinamento internazionale sul futuro sviluppo dell’IA dovrebbe diventare una priorità assoluta per i governi.
La proposta si scontra con un problema fondamentale di coordinamento. Una singola azienda che rallenti mentre i concorrenti continuano potrebbe perdere talenti, investimenti, clienti e terreno sul piano tecnico. Standard condivisi potrebbero attenuare questa pressione, ma il saggio di Pachocki non specifica quali soglie di capacità dovrebbero far scattare un rallentamento né come paesi e aziende potrebbero verificare il rispetto delle regole.
L’avvertimento di OpenAI si scontra con il suo stesso calendario
Le due pubblicazioni di OpenAI del 6 settembre mettono in piena luce la tensione centrale dell’azienda. Un documento mostra che gli agenti di IA moltiplicano la produzione dei ricercatori umani; l’altro afferma che la stessa accelerazione potrebbe presto superare la capacità degli strumenti usati per comprendere e controllare i modelli avanzati.
Pachocki non afferma che OpenAI abbia deciso di interrompere l’aumento di scala. Dice che l’azienda continuerà a cercare soluzioni tecniche e che, quando necessario, potrebbe decidere unilateralmente di non aumentare ulteriormente la scala. La sua tesi più ampia è che l’autolimitazione interna non basterà se gli altri laboratori e i governi continueranno a procedere senza requisiti di sicurezza comuni.
OpenAI presenta quindi il rallentamento come condizionato, non immediato: continuare a sviluppare sistemi, migliorare l’allineamento e il monitoraggio e ridurre il ritmo quando la fiducia nella sicurezza non giustifica più il passo successivo. Resta da chiarire chi decida quando quella soglia sia stata superata e se l’azione volontaria possa reggere una volta che la ricerca automatizzata offrirà a ogni grande laboratorio un motivo per accelerare.
Per ora, i dati più chiari di OpenAI indicano entrambe le direzioni. I suoi agenti forniscono già 3,1 giornate di lavoro delle macchine per ogni giornata di ricerca umana, mentre il suo capo scienziato afferma che nessun laboratorio ha risolto i problemi dell’allineamento e del monitoraggio abbastanza bene da poter continuare ancora a lungo ad aumentare responsabilmente la scala alla massima velocità.