The Pulse
Satya Nadella chiede un «freno d’emergenza» per l’IA controllato da una persona
Satya Nadella, amministratore delegato di Microsoft, sostiene che le organizzazioni dovrebbero considerare i modelli di IA più potenti come potenziali rischi interni e mantenere i controlli degli accessi esterni ai modelli. Tra le misure di
AI.info Team · Scritto con l’IA ·
Satya Nadella sostiene che una persona autorizzata dovrebbe poter fermare un modello di IA mentre è al lavoro, non soltanto esaminarne la risposta a posteriori. In un saggio pubblicato il 10 ottobre, l’amministratore delegato di Microsoft invita le aziende a considerare i modelli avanzati come potenziali rischi interni e a costruire sistemi che permettano di osservarne e contenerne le azioni.
«Una persona autorizzata dovrebbe sempre poter mettere in pausa o arrestare un modello mentre svolge un compito», scrive Nadella, paragonando il meccanismo a un freno d’emergenza. La proposta rientra in una serie più ampia di misure di sicurezza per i modelli che hanno accesso a dati sensibili o il permesso di compiere azioni dalle conseguenze rilevanti. Leggi il saggio di Nadella.
Mantenere il controllo fuori dal modello
Il ragionamento di Nadella parte da una differenza tra il software tradizionale e i modelli di frontiera. Spesso gli ingegneri possono ricondurre il comportamento del software tradizionale a un percorso nel codice; con i modelli, scrive, le organizzazioni non possono attribuire in modo affidabile gli output a specifici dati di addestramento o configurazioni dei pesi. Eppure le aziende collegano i sistemi agentici a informazioni sensibili e consentono loro di agire per conto degli utenti.
Il confine che propone riguarda l’architettura: il modello non dovrebbe controllare i meccanismi che stabiliscono a cosa può accedere o quali azioni può compiere. Nadella chiede di separare il modello dall’«harness» che ne coordina il lavoro e dallo spazio delle azioni, cioè gli strumenti e le operazioni a sua disposizione. A suo avviso, i limiti di accesso e le misure di sicurezza devono essere applicati dall’esterno, anziché essere affidati alle istruzioni del modello stesso.
Registri, test e verifiche indipendenti
Il saggio enuncia sette principi: diversità dei modelli, osservazione, verificabilità, controlli indipendenti, possibilità di verifiche indipendenti, contenimento e comunicazione degli incidenti. Nadella sostiene che ogni azione significativa di un modello dovrebbe lasciare tracce leggibili dalle persone e a prova di manomissione, così da permettere alle organizzazioni di ricostruire un esito senza affidarsi al modello per descrivere il proprio operato. Esorta inoltre a svolgere test continui che comprendano attacchi, malfunzionamenti, casi limite e modifiche al sistema, non soltanto compiti portati a termine con successo.
Usare un modello per controllarne un altro non risolve il problema, avverte. Una simile configurazione può lasciare le organizzazioni con un modello opaco all’interno di un livello di orchestrazione opaco, sorvegliato da un altro modello opaco. Per Nadella, la validazione deve essere indipendente dal sistema valutato e nessun modello dovrebbe controllare sia il proprio comportamento sia le prove usate per giudicarlo.
La comunicazione degli incidenti fa parte del contenimento
Nadella sostiene che le organizzazioni dovrebbero presumere fin dall’inizio che un modello possa essere compromesso e predisporre un modo, controllato da una persona, per metterlo in pausa o arrestarlo. Aggiunge che modelli più capaci richiederanno metodi di contenimento più avanzati e chiede standard di settore laddove quelli esistenti siano insufficienti. Il saggio non specifica un progetto tecnico né un processo di certificazione per un simile meccanismo di arresto.
Chiede inoltre una comunicazione tempestiva quando i sistemi non funzionano o vengono compromessi, con informazioni su cosa sia andato storto, quali controlli abbiano fallito e come altri possano evitare lo stesso problema. La proposta attribuisce la responsabilità alle organizzazioni che impiegano i modelli, non soltanto alle aziende che li forniscono. Il criterio conclusivo di Nadella è se un sistema di IA consenta a chi lo gestisce di fare meno affidamento sulla fiducia nel modello, perché può osservarne, verificarne e limitarne le azioni in modo indipendente.