Vai al contenuto
AI.info

The Pulse

METR rileva che, nei suoi compiti di coding, i modelli di IA di solito eguagliano o superano gli esseri umani esperti, con orizzonti temporali che raddoppiano ogni 3,6 mesi

METR ha rilevato che i modelli testati di solito eguagliavano o superavano gli esseri umani esperti nei compiti di coding e ottimizzazione. La valutazione aggiornata ha inoltre rilevato un giudizio più debole da parte dei modelli e difficoltà nel trovare tester umani che li superassero.

METR rileva che, nei suoi compiti di coding, i modelli di IA di solito eguagliano o superano gli esseri umani esperti, con orizzonti temporali che raddoppiano ogni 3,6 mesi

I modelli testati da METR di solito eguagliavano o superavano gli esseri umani esperti nei compiti di coding e ottimizzazione. La valutazione del 20 novembre riguarda i modelli pubblici fino a Opus 5.5 e GPT-6 Astra e individua anche ambiti in cui gli agenti di IA sembrano esercitare un giudizio peggiore rispetto agli esperti umani.

Su un insieme combinato di compiti, METR stima che gli orizzonti temporali dei modelli raddoppino all’incirca ogni 3,6 mesi. La misura tiene traccia della durata dei compiti che i modelli riescono a completare e usa il tempo impiegato dagli esseri umani per valutarne la difficoltà.

METR non sa ancora con certezza né quanto rapidamente stiano migliorando le capacità rilevanti per la ricerca e lo sviluppo dell’IA, né quali capacità sarebbero necessarie per un’accelerazione drastica. Afferma che le prove pubbliche non sono sufficienti per escludere un’accelerazione del genere nei prossimi due anni, definendola come un progresso tanto rapido che gli esseri umani non riescano più a comprendere, valutare e affrontare in modo significativo i rischi catastrofici derivanti dai nuovi sistemi di IA.

Alla ricerca di confronti con gli esseri umani

Quando METR ha reclutato i propri tester umani, afferma di non essere riuscita, di norma, a trovare persone che superassero i modelli più recenti. In un paio di compiti per i quali esistevano già registrazioni di almeno 10 specialisti del settore che li avevano affrontati, i modelli tendevano a collocarsi a un percentile molto alto, anche se non al vertice assoluto.

Quando METR ha pubblicato per la prima volta il suo lavoro sugli orizzonti temporali, nel marzo 2025, il miglior modello misurato era Sonnet 3.7, con un orizzonte di circa un’ora. Nel giro di un anno, i modelli avevano saturato la suite di compiti TH1.1, che include compiti della durata massima di 30 ore.

Per il nuovo lavoro, il gruppo ha reclutato tester umani più esperti rispetto ai laureati in discipline STEM impiegati in precedenza, ma afferma che i requisiti di competenza e di tempo hanno reso difficile il reclutamento. I risultati di riferimento ottenuti dagli esseri umani sono stati usati direttamente solo per il 9% delle stime sul tempo che una persona avrebbe impiegato per completare un compito; le altre stime si basavano su dati pubblici, esperti ed estrapolazioni. Ai tester è stato consentito di usare Sonnet 5 per l’implementazione.

Giudizio e progettazione dei compiti

Nei compiti che richiedevano di fare scelte senza un chiaro riscontro empirico, gli agenti di IA sembravano avere un giudizio peggiore rispetto agli esperti umani, afferma METR. In un compito, i giudici basati su modelli hanno sovrastimato la qualità di un risultato prodotto da un modello altrettanto capace o più capace, se confrontata con la valutazione di un esperto.

MIT Technology Review riferisce che un compito chiedeva ai modelli di progettare valutazioni di IA per METR, e che i risultati sono stati valutati da dipendenti umani. Nessuna delle valutazioni progettate dall’IA era abbastanza valida da essere considerata utile dai dipendenti per la loro ricerca, riferisce la testata.

Il gruppo ha stimato che i modelli ottenessero risultati un po’ peggiori nei compiti più costosi da trasformare in ambienti di addestramento per il reinforcement learning, anche tenendo conto del tempo stimato per il completamento da parte degli esseri umani. Ha usato una misura stimata da un modello, chiamata costo del ciclo di vita, per quantificare la spesa necessaria a creare, eseguire e valutare le valutazioni.

Secondo le stime di METR, per un compito di una data durata, il raddoppio del costo del ciclo di vita comportava una penalità di difficoltà molto approssimativamente equivalente al dimezzamento dell’orizzonte temporale di un agente. Il gruppo ha osservato tassi di progresso simili nei sottoinsiemi di compiti più e meno costosi, compresi miglioramenti nei compiti più costosi.

I limiti della tendenza

METR teme che le valutazioni facili da eseguire possano sovrastimare le capacità nel mondo reale, man mano che ambienti simili diventano comuni nell’addestramento. I compiti più recenti prendono di mira specifici punti di forza e di debolezza rilevanti per la ricerca e lo sviluppo dell’IA, ma coprono un ambito più ristretto di attività generali di ingegneria del software rispetto a TH1.1.

Il risultato combinato sugli orizzonti temporali utilizza TH1.1 e la suite più difficile TH2. METR afferma che, sulla suite combinata, i modelli hanno un orizzonte temporale al 50% più breve rispetto a TH1.1 da sola; una cadenza di raddoppio più rapida in un sottoinsieme verificabile di TH2 potrebbe indicare un’accelerazione recente nascosta nella tendenza combinata, anche se sono plausibili altre spiegazioni.

Una misura composita distinta, il METR Capability Index, non ha mostrato una forte accelerazione o decelerazione tra i modelli di frontiera pubblici testati. METR ha rilevato prove incerte di cambiamenti in alcune tendenze specifiche degli sviluppatori, ma ha avvertito che questi risultati erano sensibili alle scelte metodologiche.

Fonti

  1. Fonte originale · Post del blog METR metr.org

Altre pagine lette

  1. MIT Technology Review technologyreview.com

Notizie correlate

Esplora

Altri articoli