The Pulse
METR chiede accesso ai laboratori di IA di frontiera per valutarne i rischi
METR propone valutazioni indipendenti di come i laboratori di IA di frontiera gestiscono gli agenti non allineati, monitorano i sistemi interni e seguono l’accelerazione della ricerca trainata dall’IA. Il processo, su base volontaria, conse
AI.info Team · Scritto con l’IA ·
METR vuole che le aziende di IA di frontiera consentano a valutatori esterni di esaminare il comportamento degli agenti interni, ma la sua proposta lascia ai laboratori il controllo sull’accesso e sulle parti da oscurare. L’organizzazione di ricerca senza scopo di lucro afferma che i rapporti pubblici potrebbero portare alla luce prove relative ai rischi di perdita di controllo; avverte inoltre che il processo non può stabilire che lo sviluppo sia sicuro.
Pubblicata il 14 ottobre, la proposta chiede alle aziende di collaborare con METR a valutazioni dei sistemi di IA impiegati nei propri processi di sviluppo. Le valutazioni si concentrerebbero su tre domande: se gli agenti potrebbero tentare azioni dannose, se i sistemi di monitoraggio le rileverebbero e se la ricerca trainata dall’IA potrebbe accelerare lo sviluppo delle capacità più rapidamente dei miglioramenti delle misure di sicurezza. Secondo METR, al momento non ci sono abbastanza elementi pubblici per giudicare come gli sviluppatori stiano affrontando questi rischi.
Le tre domande alla base della proposta
La valutazione dell’allineamento esaminerebbe gli incidenti osservati all’interno di un’azienda e indagherebbe se i suoi test o il suo addestramento potrebbero nascondere comportamenti più preoccupanti. Una valutazione del controllo esaminerebbe quanto i sistemi di monitoraggio riescano a sorvegliare gli agenti interni, se sia possibile aggirare tali sistemi e come il personale reagisca alle attività segnalate. La terza valutazione cercherebbe prove di un’accelerazione nello sviluppo delle capacità interne, verificando anche se gli agenti di IA contribuiscano a quel ritmo e quali fattori potrebbero limitarlo.
METR afferma di aver sperimentato valutazioni dei processi di sviluppo interni insieme alle aziende dal 2025 e di lavorare sui test relativi alla perdita di controllo dal 2022. Il progetto pilota Frontier Risk Report del maggio 2026 ha coinvolto Anthropic, Google, Meta e OpenAI e comprendeva uno stress test dei sistemi di monitoraggio interni. METR afferma inoltre di aver condotto una breve esercitazione con OpenAI sull’incidente OpenAI–Hugging Face e di avere altre valutazioni in corso, tra cui una valutazione approfondita dell’allineamento con Anthropic.
I laboratori stabilirebbero i limiti
Secondo i termini proposti, un piccolo gruppo di dipendenti di METR riceverebbe accesso ai dati pertinenti su dispositivi aziendali per un periodo concordato, probabilmente di alcune settimane o di qualche mese. I valutatori intervisterebbero in privato i dipendenti interessati, senza la presenza di rappresentanti dell’azienda né un vaglio aziendale delle loro risposte. METR propone di redigere i rapporti in modo indipendente, entro un ambito concordato in anticipo, consentendo alle aziende di oscurare le informazioni sensibili.
È questa la tensione centrale della proposta: METR chiede un esame indipendente, ma ciascuna azienda sceglierebbe quale accesso concedere e potrebbe oscurare parti del materiale. L’organizzazione afferma che i rapporti dovrebbero indicare l’ambito della valutazione, i limiti di accesso e le parti oscurate, affinché i lettori possano giudicare che cosa i risultati mostrino e che cosa no. Propone rapporti preliminari nel giro di alcune settimane, pur riconoscendo che tempi così brevi potrebbero non consentire conclusioni solide.
METR afferma che non si tratta di una revisione
«La scienza che studia la perdita di controllo dell’IA è agli inizi», scrive METR. L’organizzazione afferma che le sue valutazioni produrrebbero elementi di prova su rischi tecnici specifici, non certificherebbero la sicurezza di un laboratorio, non imporrebbero standard di sicurezza né deciderebbero se un’azienda debba distribuire un modello. Il lavoro escluderebbe inoltre ambiti come la sicurezza dei pesi dei modelli, la sicurezza delle sandbox e la qualità della governance interna di un’azienda.
METR riconosce che le collaborazioni volontarie possono esercitare pressioni sui valutatori perché non si inimichino le aziende da cui dipendono per l’accesso, e che le aziende possono interrompere una collaborazione. La proposta, inoltre, non prevede il livello di accesso ai dipendenti descritto in una recente lettera pubblica né garantisce protezione dalle ritorsioni in caso di risultati sfavorevoli. L’organizzazione afferma che gli sviluppatori possono contattarla per organizzare le valutazioni e che intende fornire maggiori informazioni sulle aziende partecipanti.