The Pulse
Ex dipendenti del settore dell’IA avvertono il Consiglio comunale di New York, mentre OpenAI difende il suo impegno per la sicurezza
Ex dipendenti di Anthropic, OpenAI e Google DeepMind hanno avvertito il Consiglio comunale di New York che l’IA avanzata potrebbe sfuggire al controllo umano. Morgan Dwyer, rappresentante di OpenAI, ha detto di non poter quantificare il ris
AI.info Team · Scritto con l’IA ·
Ex dipendenti del settore dell’IA hanno dichiarato al Consiglio comunale di New York lunedì 5 ottobre che le aziende stanno portando avanti lo sviluppo di sistemi che potrebbero non essere in grado di controllare. Sollecitata a stimare la probabilità di una catastrofe, Morgan Dwyer, rappresentante di OpenAI, ha detto di non conoscerla, ma ha sostenuto che un rischio del genere sarebbe comunque inaccettabile. Il confronto ha posto i consiglieri di fronte a due posizioni contrapposte: gli ex dipendenti hanno avvertito che l’umanità potrebbe perdere il controllo, mentre i rappresentanti delle aziende hanno sottolineato il lavoro svolto sulla sicurezza, senza quantificare l’entità del pericolo.
Coxon: la corsa all’IA potrebbe procedere più rapidamente della capacità di controllarla
Jacob Coxon, ex ingegnere di Anthropic, ha esortato i consiglieri a respingere una cultura che punta a procedere in fretta e a risolvere i problemi in seguito. «Le aziende operano con la mentalità delle startup: muoversi in fretta, rompere le cose, ripararle dopo. Funziona per un’app di condivisione di foto. Non funziona quando si costruisce la tecnologia più potente mai realizzata», ha detto.
«Se continuiamo sulla strada attuale, penso che sia più probabile che no che l’umanità perda il controllo a favore di queste IA, e questo potrebbe portare all’estinzione umana», ha detto Coxon.
Jacob Coxon, ex ingegnere di Anthropic, citato da The Associated Press
Dipendenti che avevano lasciato da poco Anthropic, OpenAI e Google DeepMind hanno descritto quella che, a loro giudizio, è una cultura aziendale imprudente, secondo The Associated Press. Coxon ha detto che l’IA potrebbe apportare grandi benefici, ma ha sostenuto che, senza trasparenza e misure di salvaguardia, sarebbe più probabile che la situazione sfugga al controllo. La sua previsione era un avvertimento rivolto ai consiglieri, non una conclusione accertata durante l’audizione.
Dwyer rifiuta di fornire una stima numerica
La presidente del Consiglio comunale, Julie Menin, ha chiesto ai rappresentanti delle aziende di quantificare il rischio nello scenario peggiore, quello di una catastrofe. Dwyer ha risposto di non poter fornire una cifra, aggiungendo che una probabilità dell’1%, del 10% o del 20% non cambia la responsabilità dell’azienda di prevenire una catastrofe. Menin ha definito la risposta «quanto meno superficiale».
«Direi che la probabilità in termini percentuali non conta. Quello che conta è l’impegno per la sicurezza, ed è ciò a cui OpenAI si dedica», ha detto Dwyer. The Associated Press ha riferito che anche i rappresentanti di OpenAI, Anthropic, Google e Meta hanno detto che i loro sistemi stanno già aiutando le persone e hanno sottolineato la loro attenzione alla sicurezza. Logan Graham di Anthropic ha detto che l’azienda accoglie con favore una «regolamentazione intelligente» e che i governi statali e locali hanno un ruolo nella definizione delle regole.
New York valuta verifiche, un sistema di arresto e compensi per chi segnala illeciti
L’audizione ha fatto seguito a un pacchetto di misure proposte dalla città, annunciato da Menin il 25 settembre. Una proposta imporrebbe una verifica da parte di terzi per i sistemi di IA commercializzati, venduti o impiegati a New York, con controlli sulla qualità dei dati, sulle distorsioni, sulla privacy e sulla sicurezza. Richiederebbe inoltre un sistema di controllo umano in grado di arrestare ciascun sistema, con una sanzione proposta di 25.000 dollari per ogni caso di impiego senza verifica o con una verifica falsificata.
Altre proposte consentirebbero a chi segnala illeciti di ricevere una quota delle sanzioni riscosse dalle aziende di IA e alle persone di citare in giudizio le aziende per danni prevedibili causati da terzi che sfruttano misure di salvaguardia inadeguate. Il pacchetto comprende anche proposte di obblighi di segnalazione degli incidenti relativi alla sicurezza dell’IA che riguardano contratti comunali. Il Consiglio aveva annunciato che l’audizione del 5 ottobre avrebbe riunito tutti i suoi 51 membri e incluso le testimonianze delle principali aziende di IA; ha fatto leva sulla prospettiva di emettere citazioni a comparire per ottenere la partecipazione di diverse aziende.
L’avvertimento affronta ora la prova legislativa
Gli ex dipendenti hanno chiesto ai consiglieri di considerare la perdita di controllo una possibilità concreta. I rappresentanti delle aziende hanno detto che la sicurezza è importante, ma non hanno fornito una stima condivisa della probabilità di una catastrofe. Questa divergenza pone le proposte del Consiglio di fronte a una prova pratica: stabilire se le norme cittadine possano imporre verifiche misurabili e responsabilità chiare senza trattare la previsione dello scenario peggiore formulata dagli ex dipendenti come un esito accertato.
Le misure restano proposte all’esame del Consiglio, non norme comunali già approvate. L’audizione del 5 ottobre ha portato rappresentanti delle aziende ed ex dipendenti nello stesso dibattito pubblico, lasciando ai consiglieri la decisione se le disposizioni proposte su verifica, arresto dei sistemi e segnalazione degli illeciti debbano diventare obblighi vincolanti.