The Pulse
METR stima che le capacità dei modelli di Anthropic stiano progredendo a circa il doppio del ritmo precedente
METR stima che i modelli di Anthropic stiano migliorando nei compiti ben specificati a circa il doppio del ritmo precedente, pur avvertendo che la stima è incerta. La sua valutazione descrive anche una crescita più rapida dei punteggi nei b
AI.info Team · Scritto con l’IA · verificato ·
La maggior parte dei collaboratori di METR che hanno lavorato al progetto stima che, a ottobre 2026, Anthropic stesse probabilmente migliorando le capacità dei propri modelli nei compiti ben specificati a circa il doppio del ritmo registrato tra marzo 2024 e ottobre 2025. La valutazione, pubblicata il 5 novembre, si basa su un’analisi di undici settimane del processo interno di ricerca e sviluppo sull’IA di Anthropic. METR afferma che la stima è caratterizzata da un’elevata incertezza: non si sorprenderebbe se la vera accelerazione fosse più vicina a 1,3 volte o a tre volte il ritmo storico. Il gruppo è inoltre meno certo di come tale accelerazione si applichi a compiti più ampi e meno ben specificati.
Accelerano i punteggi nei benchmark misurati con AECI
Da ottobre 2025, i punteggi nei benchmark dei modelli di Anthropic, misurati con AECI — la versione di Anthropic dell’Epoch Capabilities Index — sono cresciuti a un ritmo stimato di 1,9 volte quello precedente a ottobre 2025. METR indica un intervallo di confidenza del 95% compreso tra 1,5 e 2,8 volte. L’andamento riportato è passato da 15 punti all’anno prima di ottobre 2025 a 29 punti all’anno successivamente.
Secondo METR, nell’ultimo anno Anthropic sembra aver compiuto nei benchmark progressi equivalenti a circa due anni di avanzamento storico. La sua stima è superiore all’accelerazione di 1,7 volte riportata nella system card di Haiku 5.5, principalmente perché METR ha incluso dati relativi a modelli più recenti e non ancora rilasciati. Le analisi di robustezza hanno prodotto stime dell’accelerazione comprese tra 1,1 e 2,9 volte. METR afferma che si sorprenderebbe se l’effettiva evoluzione dei punteggi nei benchmark non mostrasse alcuna accelerazione o ne mostrasse una superiore a tre volte.
Il rapporto avverte che il risultato AECI potrebbe riflettere un overfitting alla distribuzione dei benchmark o essere un artefatto della metodologia dell’indice. METR afferma inoltre di non essere certa che AECI possa stimare in modo affidabile la recente accelerazione della ricerca e sviluppo: i punti dati sono in ritardo rispetto ai progressi della ricerca e sono piuttosto radi. Il risultato relativo ai benchmark ha contribuito alla valutazione più ampia del gruppo, insieme ad altre evidenze che non ha potuto divulgare.
METR attribuisce gran parte dell’attuale accelerazione all’IA
METR afferma di aver ricevuto evidenze convincenti del fatto che l’accelerazione non sia stata causata da una crescita più rapida della capacità di calcolo per l’addestramento. Ritiene che fattori non legati all’IA abbiano probabilmente influenzato l’accelerazione alla fine del 2025, ma stima che la maggior parte — forse circa l’80% — dell’accelerazione registrata a ottobre 2026 sia dovuta all’IA. Il rapporto esprime questo giudizio con una notevole incertezza e afferma che il contributo dell’IA è diventato più importante nel tempo.
Interviste e sondaggi erano coerenti con l’ipotesi che l’uso dell’IA stia accelerando i progressi nelle capacità. L’impressione complessiva di METR è stata che le stime dei ricercatori coprissero un ampio intervallo, ma si concentrassero intorno a un’accelerazione di due volte. Anthropic ha anche condiviso le risposte informali dei dipendenti ai sondaggi su Slack sull’accelerazione dovuta al modello più recente. Il rapporto afferma che l’incremento medio dichiarato dagli stessi partecipanti ha raggiunto circa 12 volte a ottobre 2026, pur avvertendo che le risposte ai sondaggi costituiscono solo un’evidenza approssimativa.
METR distingue le stime dell’accelerazione individuale da quella dei progressi complessivi. Sostenere un determinato ritmo di crescita delle capacità dei modelli richiede generalmente una crescita sostenuta di fattori come il lavoro o la produttività del lavoro, afferma il rapporto. Secondo il documento, la ricerca e sviluppo è attualmente accelerata soprattutto dall’assistenza dell’IA, piuttosto che da contributi completamente autonomi. I ricercatori hanno descritto segnali secondo cui contributi completamente autonomi potrebbero arrivare presto, con un livello di maturità che varia sensibilmente da un’area all’altra.
Nessun chiaro collo di bottiglia identificato nel breve termine
METR afferma di non aver rilevato evidenze di colli di bottiglia significativi nei progressi algoritmici, nella capacità di calcolo per l’addestramento, in quella per gli esperimenti o nei dati che potrebbero manifestarsi nei prossimi 12 mesi. Tuttavia, la sua comprensione di questi vincoli è cambiata man mano che riceveva ulteriori informazioni e il gruppo non è certo della propria valutazione attuale. Il rapporto afferma che l’assenza di colli di bottiglia osservati crea un rischio significativo che ulteriori progressi nelle capacità possano portare a un’accelerazione più rapida nel corso del prossimo anno.
Gli oscuramenti limitano il controllo pubblico
Anthropic aveva il diritto di oscurare le informazioni non pubbliche contenute nella valutazione. Il rapporto afferma che Anthropic ha oscurato la maggior parte delle evidenze che METR riteneva più utili per le proprie conclusioni, descrivendo gli oscuramenti come «volti a rimuovere informazioni riservate che potrebbero accelerare il lavoro di altri sviluppatori di IA». Secondo METR, gli oscuramenti rendono più difficile per il pubblico valutare le evidenze e trarre le proprie conclusioni, costringendo i lettori ad affidarsi alla valutazione del gruppo più di quanto quest’ultimo riterrebbe ideale.
Il personale di METR, con un impiego di risorse equivalente a 2,5 persone a tempo pieno, ha condotto la valutazione presso Anthropic dal 12 agosto al 29 ottobre 2026. Anthropic ha fornito accesso a informazioni interne su preaddestramento, apprendimento per rinforzo, capacità di calcolo per l’addestramento, punteggi nei benchmark, analisi dell’accelerazione, previsioni e interviste al personale. METR afferma che l’accesso ha ampiamente superato le sue aspettative, sebbene Anthropic potesse approvare o respingere le sue richieste. L’analisi del gruppo ha esaminato tre questioni: se la crescita delle capacità interne di Anthropic avesse accelerato, quale quota dell’eventuale accelerazione fosse attribuibile all’IA e se i colli di bottiglia nel breve termine potessero rallentare i progressi.