The Pulse
Uno studio di Stanford rileva che il 44% delle affermazioni sugli LLM esaminate è superato
Uno studio di Stanford rileva che il 44% delle 50 affermazioni sui modelli linguistici di grandi dimensioni esaminate risultava superato a settembre 2026. Owen Queen e James Zou hanno confrontato i risultati su 20 modelli rilasciati da otto
AI.info Team · Scritto con l’IA · verificato ·
Secondo i ricercatori, il 44% dei risultati sui modelli linguistici di grandi dimensioni esaminati in un nuovo studio di Stanford risultava superato nei modelli più recenti. Il rapporto, di Owen Queen e James Zou, è datato 2 novembre 2026. Confronta 50 affermazioni pubblicate su 20 modelli, misurando come sono cambiati i risultati con il rilascio di modelli tra luglio 2024 e settembre 2026.
La maggior parte delle affermazioni esaminate si è indebolita o non trova più riscontro
Il gruppo classifica 22 affermazioni come superate e 17 come indebolite. Otto hanno continuato a trovare riscontro e tre si sono rafforzate rispetto ai risultati originali. I ricercatori considerano superato un risultato quando l’effetto è sceso a un quinto o meno di quello riportato nello studio; i risultati stimati coprono il periodo fino a settembre 2026.
La quota stimata di affermazioni superate cresceva con il tempo trascorso dalla pubblicazione: il 4% risultava superato entro sei mesi, il 16% entro un anno e il 39% entro due anni. La quota che continuava a trovare pieno riscontro scendeva dal 64% a sei mesi al 47% a un anno e al 31% a due anni. Tra le 22 affermazioni per cui è stata stimata una data di superamento, il tempo medio perché risultassero superate era di 15,7 mesi e la mediana era di 14,7 mesi.
Quella media riguarda soltanto le affermazioni per cui è stata stimata una data di superamento. I ricercatori affermano che le loro stime complessive presentano ampi intervalli di confidenza perché lo studio copre 50 affermazioni, e avvertono che la pubblicazione avviene dopo gli esperimenti stessi.
Le carenze nelle capacità si sono attenuate; alcune preferenze sono rimaste
Molti dei risultati superati riguardavano carenze che i modelli più recenti non mostravano più con la stessa intensità. Il rapporto elenca il conteggio delle lettere, l’aritmetica in basi diverse, il recupero di informazioni fattuali da contesti lunghi, le citazioni inventate e l’abbandono di risposte corrette dopo che un utente le mette in discussione. Altri risultati che hanno perso riscontro riguardavano dettagli privati nei resoconti delle riunioni e mancate risposte in arabo.
Le affermazioni su preferenze e giudizi avevano maggiori probabilità di continuare a trovare riscontro o di rafforzarsi. I tre risultati rafforzati riguardavano giudici che favoriscono le proprie risposte, elogi che seguono le preferenze dichiarate da un utente e la generazione non uniforme di numeri casuali. Gli autori riassumono così la loro posizione:
«Un risultato è un’osservazione su modelli specifici in un determinato momento, non una proprietà fissa dei modelli linguistici.»
Owen Queen e James Zou, Stanford University
La tendenza non è uniforme tra i modelli rilasciati. Lo studio riporta che, tra i modelli rilasciati da luglio a settembre 2026, il numero di affermazioni nella zona di superamento variava da 11 per DeepSeek V4 Pro a 30 per GPT-6.1 Sol.
Superato nel gruppo di modelli non significa scomparso ovunque
Le citazioni inventate costituiscono l’esempio più chiaro dello studio di un cambiamento e delle sue eccezioni. Con i prompt usati dai ricercatori per la revisione della letteratura, Claude Sonnet 5.5 ha inventato l’1% dei suoi riferimenti e GPT-6.1 Sol non ne ha inventato nessuno. Qwen3.7-Flash, invece, ne ha inventato il 69% nello stesso test, anche se l’affermazione è stata classificata come superata nell’intero gruppo di modelli.
Il rapporto precisa che il risultato conteggiava i riferimenti a opere inesistenti, non gli errori nei dettagli di pubblicazioni reali. La riproduzione del test ha usato 42 argomenti; GPT-3.5 Turbo ha inventato il 59% di 210 riferimenti, un valore vicino al 55% riportato nello studio originale.
I ricercatori chiedono affermazioni datate e riproducibili
Gli autori sostengono che i risultati sul comportamento dei modelli dovrebbero indicare il modello, la versione e la data, anziché presentare un risultato come una proprietà fissa dei modelli linguistici. Raccomandano inoltre di registrare i prompt e il codice di analisi, affinché altri ricercatori possano ripetere i test su sistemi più recenti.
La questione va oltre le sintesi della ricerca: il rapporto osserva che ICLR 2026 ha riferito di aver respinto senza revisione studi contenenti riferimenti allucinati e che ICML 2026 include tali riferimenti tra i motivi di rifiuto senza revisione. Gli autori avvertono che le citazioni inventate compaiono meno frequentemente nella maggior parte dei modelli più recenti che hanno esaminato, mentre il risultato di Qwen3.7-Flash mostra quanto questo comportamento possa ancora variare sensibilmente a seconda del modello.