The Pulse
Hinton e Bengio avvertono: la ricerca sull’IA potrebbe accelerare oltre il controllo umano
Un working paper del Cambridge Programme on AI Science & Policy, firmato anche da Geoffrey Hinton e Yoshua Bengio, sostiene che entro pochi anni l’IA potrebbe automatizzare la maggior parte delle attività di ricerca e sviluppo sull’IA. Invi
AI.info Team · Scritto con l’IA · verificato ·
L’automazione promette rapidità; il rapporto avverte del rischio di perdere il controllo
I sistemi di IA potrebbero contribuire ad anticipare scoperte mediche e altri progressi. Secondo un working paper pubblicato lunedì dal Cambridge Programme on AI Science & Policy (CASP), la stessa accelerazione potrebbe rendere difficile ai governi e all’opinione pubblica tenere il passo. Gli autori, tra cui Geoffrey Hinton, Yoshua Bengio, il responsabile scientifico di OpenAI Jakub Pachocki e il cofondatore di Anthropic Jack Clark, sostengono che automatizzare la ricerca e lo sviluppo sull’IA potrebbe concentrare anni di progressi in pochi mesi o anche meno.
Il rapporto descrive un possibile circolo di retroazione, non un processo già in corso: i sistemi di IA si fanno carico di una parte crescente del lavoro di sviluppo dell’IA, poi contribuiscono a creare sistemi più capaci, in grado di assumersi una quota ancora maggiore della ricerca. Gli autori scrivono:
«Sebbene permanga molta incertezza su queste possibilità, la posta in gioco è abbastanza alta da richiedere ulteriore seria attenzione.»
Alan Chan, Sören Mindermann e altri coautori, tra cui Geoffrey Hinton e Yoshua Bengio, «E se l’automazione della ricerca e dello sviluppo sull’IA innescasse un’esplosione dell’intelligenza?»
Secondo gli autori, la soglia non è ancora stata raggiunta
La sintesi del paper afferma che i sistemi di IA sono sulla buona strada per automatizzare, entro pochi anni, la maggior parte delle attività di ricerca e sviluppo sull’IA, e forse tutte. A questa previsione si accompagna una precisazione importante: gli autori scrivono che gli incrementi di produttività dovuti all’automazione della ricerca e dello sviluppo sull’IA non hanno ancora raggiunto la soglia necessaria a innescare un’esplosione dell’intelligenza, anche se gli incrementi prodotti dai sistemi più recenti si stanno «probabilmente avvicinando a quella soglia».
Questa distinzione separa un avvertimento su un futuro plausibile dalle prove di un processo già in corso e fuori controllo. Il rapporto richiama il ruolo crescente dell’IA nel lavoro delle aziende che sviluppano questi sistemi, affermando che oggi l’IA scrive la maggior parte del codice al loro interno; cita il dato di Anthropic secondo cui la quota di codice approvato scritta dai sistemi di IA è salita da una percentuale a una sola cifra, nella fascia più bassa, a oltre l’80% tra gennaio 2025 e maggio 2026. Ma scrivere codice non equivale a dirigere autonomamente la ricerca o a decidere quali risultati siano validi; la preoccupazione riguarda quante altre fasi del processo di ricerca i sistemi potrebbero assumersi.
Progressi più rapidi potrebbero portare rischi più rapidi
Gli autori presentano entrambi i lati di questa possibilità. La ricerca automatizzata potrebbe anticipare i benefici dell’IA, ma un forte aumento delle capacità potrebbe superare la capacità della società di reagire. Il rapporto mette in guardia dalla possibile perdita del controllo umano su sistemi sovrumani e dall’indebolimento dei meccanismi di controllo del potere all’interno degli Stati, delle aziende e dei rami del governo, e tra di essi.
Il paper avverte inoltre che un’esplosione dell’intelligenza potrebbe anticipare attacchi biologici e informatici resi possibili dall’IA, lasciando alla società meno tempo per adattarsi nei casi in cui le minacce accelerino più rapidamente delle misure necessarie a contrastarle, e che uno Stato potrebbe trasformare un modesto vantaggio nella ricerca e nello sviluppo militari o nelle operazioni militari, per esempio nel cyberspazio, in un vantaggio decisivo. Si tratta di scenari, non di affermazioni secondo cui tali danni si stiano già verificando. Gli autori sottolineano l’incertezza, ma sostengono che la posta in gioco giustifichi la preparazione prima che il circolo di retroazione si rafforzi.
CASP chiede maggiore visibilità e strumenti per intervenire
Il rapporto esorta i responsabili politici ad acquisire maggiore visibilità su come l’IA viene usata per la ricerca sull’IA, a sviluppare modi per orientare o limitare un’esplosione dell’intelligenza e a preparare la società ai suoi effetti. Tra le misure proposte figurano la comunicazione standardizzata ai governi e ai revisori terzi di indicatori relativi alla ricerca e allo sviluppo sull’IA, valutatori indipendenti inseriti in alcune aziende di IA, strumenti per verificare il rispetto di futuri accordi che regolino il ritmo dei progressi dell’IA e opzioni, definite insieme ai gestori dei data center, per sospendere specifici carichi di lavoro di ricerca e sviluppo sull’IA.
Queste raccomandazioni affrontano il divario tra accorgersi dell’accelerazione e conservare la capacità di reagire. La tesi centrale del rapporto sul piano delle politiche pubbliche è che i governi dovrebbero costruire questa visibilità e questa capacità mentre il processo resta incerto, anziché aspettare che i sistemi di IA siano in grado di svolgere una parte maggiore della ricerca necessaria a migliorare i sistemi che verranno dopo.