The Pulse

Uno studio rileva che nove modelli di IA usano più costrutti linguistici associati a difficoltà di elaborazione

Uno studio ha rilevato che nove modelli linguistici di frontiera o prossimi alla frontiera usavano diversi costrutti linguistici associati a difficoltà di elaborazione per gli esseri umani più spesso rispetto ai testi di confronto scritti d

AI.info Team · Scritto con l’IA · verificato · 2026-10-25

Tutti e nove i modelli linguistici di frontiera o prossimi alla frontiera esaminati in un nuovo studio usavano soggetti inanimati con verbi tipicamente associati a esseri animati, e sequenze di parole poco comuni, più spesso dei testi di confronto scritti da persone. Secondo un preprint pubblicato il 21 ottobre su arXiv, la maggior parte dei modelli presentava anche dipendenze grammaticali più lunghe, più sequenze di sostantivi e più proposizioni relative ridotte nelle conversazioni.

Lo studio, condotto da Thomas Hikaru Clark della New York University e da Matias B. Martin e Kyle Mahowald della University of Texas at Austin, esamina costrutti linguistici che ricerche precedenti hanno associato a difficoltà di elaborazione. Non riporta i risultati di una verifica controllata del tempo impiegato dalle persone a leggere i testi prodotti dai modelli, né della loro capacità di comprenderli con la stessa accuratezza. I ricercatori misurano invece quei costrutti e li confrontano con testi scritti da persone e con parafrasi ottenute traducendo testi dell’IA in giapponese e poi di nuovo in inglese.

Sei costrutti associati allo sforzo di lettura

Gli autori esaminano combinazioni di parole poco comuni, dipendenze grammaticali lunghe, proposizioni relative in cui l’elemento a cui si riferiscono è il complemento oggetto, composti formati da più sostantivi, verbi ricavati da sostantivi e soggetti inanimati usati con verbi tipicamente associati a esseri viventi. Tra gli esempi figurano una funzione di gestione degli errori che «inghiotte» qualcosa, un sintagma nominale come «budget di pazienza del lettore» o un «that» facoltativo omesso da una proposizione.

Thomas Hikaru Clark, Matias B. Martin e Kyle Mahowald, autori dello studio, scrivono:

Tutti questi costrutti sono associati a difficoltà di elaborazione linguistica.

Per i confronti con testi scritti da persone, il gruppo ha usato sottotitoli di film e programmi televisivi per le conversazioni, post di StackExchange per la programmazione e temi di studenti per la scrittura di saggi. Il corpus dell’IA comprendeva conversazioni, sessioni con agenti di programmazione e saggi. I ricercatori hanno inoltre confrontato le risposte dei modelli con versioni tradotte dall’inglese al giapponese e poi di nuovo in inglese usando il sistema NLLB-200 di Meta, un metodo pensato per preservare il significato cambiando la formulazione.

Conversazioni e programmazione hanno mostrato tendenze più marcate

I confronti con i testi sottoposti a questa doppia traduzione hanno rilevato che i modelli di frontiera o prossimi alla frontiera usavano in genere più sequenze di parole rare, verbi improvvisati a partire da sostantivi e costruzioni con soggetti inanimati rispetto alle parafrasi. Tendenze simili sono emerse per l’omissione di «that» nelle proposizioni relative riferite a un complemento oggetto. Anche le dipendenze più lunghe e le sequenze di sostantivi tendevano a comparire più spesso nei testi prodotti per conversazioni e programmazione che nelle rispettive parafrasi tradotte.

I risultati variavano a seconda del compito e del modello. Le differenze erano minori nei saggi in stile studentesco generati da un singolo prompt rispetto alle conversazioni e alla programmazione, mentre i modelli Llama e due modelli Olmo mostravano variazioni minori dopo la doppia traduzione per diverse misure. I ricercatori riferiscono che Claude Opus 5.5 ha ottenuto punteggi inferiori a Opus 5 in quasi tutte le misure associate alla difficoltà che hanno confrontato, nei contesti esaminati.

Una penalità sulla lunghezza ha cambiato le scelte di un modello più piccolo

Per verificare una possibile spiegazione, il gruppo ha sottoposto Qwen2.5-1.5B-Instruct a fine-tuning mediante apprendimento per rinforzo, premiando le risposte corrette e penalizzando la lunghezza. Il compito chiedeva al modello di trasformare descrizioni strutturate di eventi in frasi inglesi. Alcune coppie esprimevano lo stesso significato con lunghezze diverse, come «the book the professor wrote» e «the book that the professor wrote».

In assenza di una penalità per l’allontanamento dal modello di base, tutte le esecuzioni testate con una penalità sulla lunghezza diversa da zero sono convergite sull’opzione più breve per le due costruzioni con «that» usate nell’addestramento. Gli autori riferiscono che, in quei casi, la versione più breve rappresentava oltre il 98% delle scelte. Il modello preferiva omettere «that» anche in costruzioni correlate non usate nell’addestramento, ma l’estensione dell’effetto ad altri tipi di costruzioni più brevi era limitata.

L’esperimento fornisce elementi a sostegno dell’idea che una penalità sulla lunghezza possa modificare le scelte grammaticali in un modello di piccole dimensioni e per un compito definito in modo ristretto. Non dimostra che lo stesso meccanismo abbia causato le tendenze osservate nei modelli commerciali di frontiera. Gli autori affermano di basarsi su misure indirette perché, alla scala studiata, non è possibile risalire direttamente alle cause dei cambiamenti linguistici durante la fase di post-addestramento dei modelli di frontiera.

Lo studio misura i costrutti, non le risposte dei lettori

Lo studio è un preprint e presenta diversi limiti dichiarati: analizza soltanto l’inglese, copre una parte dei modelli comunemente usati e si basa su un numero limitato di argomenti di conversazione e repository di codice. Gli autori osservano inoltre che una maggiore esposizione potrebbe rendere le persone più familiari con alcune delle costruzioni, pur sostenendo che molte delle tendenze rilevate pongono difficoltà di comprensione.

Questa distinzione è importante per interpretare i risultati. Lo studio individua strutture associate a difficoltà di elaborazione nelle ricerche precedenti; non mostra che i lettori abbiano avuto difficoltà con questi specifici esempi in un nuovo esperimento. Una verifica diretta dei tempi di lettura e della comprensione permetterebbe di stabilire se le tendenze linguistiche misurate si traducano, per le persone, in una lettura più lenta o in più errori.