The Pulse
Uno studio rileva che la somiglianza dell’IA agli esseri umani è distinta dall’accuratezza nei compiti
Uno studio su 37 sistemi di IA ha rilevato che, nella generazione di didascalie per immagini, la somiglianza agli esseri umani non era strettamente correlata alle misure convenzionali di performance. In 72.191 test simili a quello di Turing
AI.info Team · Scritto con l’IA · verificato ·
In una parte di uno studio pubblicato il 26 ottobre 2026, i valutatori umani hanno riconosciuto correttamente le didascalie per immagini generate dall’IA solo nel 46% dei casi: un risultato inferiore a quello che si otterrebbe per caso, che suggerisce come abbiano spesso scambiato le risposte delle macchine per risposte umane. In sei compiti linguistici e visivi, i ricercatori hanno rilevato che la capacità di un sistema di IA di imitare le persone non era strettamente correlata alla sua performance convenzionale. I risultati sostengono l’opportunità di misurare la somiglianza agli esseri umani separatamente dalla correttezza delle risposte di un modello.
36.499 risposte, sei tipi di compito
Il team ha raccolto 36.499 risposte da 636 partecipanti umani e 37 sistemi di IA. I compiti comprendevano la generazione di didascalie per immagini, l’associazione di parole e la conversazione, oltre alla stima dei colori, al rilevamento degli oggetti e all’attenzione visiva. I ricercatori hanno poi condotto 72.191 prove simili al test di Turing, chiedendo a 1.916 valutatori umani e 10 valutatori basati sull’IA di stabilire se le risposte provenissero da persone o macchine.
Nelle prove sulle didascalie, i valutatori hanno identificato come umane le didascalie scritte da persone nel 67% dei casi, ma hanno riconosciuto quelle dell’IA come tali solo nel 46% dei casi. Nei test di conversazione, hanno classificato come umani gli scambi tra persone nel 66% dei casi e hanno riconosciuto quelli dell’IA nel 47% dei casi. I risultati variavano a seconda del compito: nel rilevamento degli oggetti, per esempio, i valutatori hanno riconosciuto le risposte dell’IA nel 63% dei casi.
La somiglianza agli esseri umani non coincideva con l’accuratezza
Gli autori hanno confrontato le performance dei modelli nei benchmark sulla generazione di didascalie per immagini con la frequenza con cui le loro didascalie venivano scambiate per umane. Hanno rilevato che punteggi migliori nei benchmark convenzionali non corrispondevano necessariamente a una maggiore capacità di imitazione: BLIP, per esempio, imitava le didascalie umane meglio di GIT, sebbene GIT ottenesse punteggi più alti per la qualità delle didascalie. Gli autori dello studio scrivono: «La capacità di imitazione ha mostrato una correlazione minima con le metriche convenzionali di performance dell’IA, suggerendo che riuscire a passare per un essere umano sia un importante criterio di valutazione indipendente». Mengmi Zhang, Elisa Pavarino et al., Nature Human Behaviour
La distinzione è importante perché una risposta può essere accurata senza somigliare al modo in cui una persona descriverebbe o interpreterebbe qualcosa. I ricercatori citano l’esempio di una didascalia che descrive correttamente un uomo e un bambino su una spiaggia, ma non coglie l’insolita impressione visiva che un osservatore umano mette in evidenza. Lo studio considera quindi l’imitazione come un diverso obiettivo di valutazione, non come una misura dell’intelligenza.
I valutatori basati sull’IA hanno individuato schemi sfuggiti alle persone
Semplici classificatori di machine learning hanno spesso distinto le risposte umane da quelle dell’IA con maggiore accuratezza rispetto ai valutatori umani, anche nella generazione di didascalie per immagini e nella conversazione. I classificatori erano stati addestrati su esempi tratti dallo studio, quindi il confronto non verifica se una macchina non addestrata sia in grado di riconoscere l’IA; gli autori hanno anche testato ChatGPT in modalità zero-shot, con risultati variabili a seconda del compito. Lo studio riporta che la performance dei valutatori dipendeva dal compito e che, in alcuni test, il feedback poteva migliorare la capacità delle persone di identificare le risposte generate dalle macchine.
Gli autori avvertono che il loro punteggio di imitazione combinato può oscurare la differenza tra scambiare l’IA per un essere umano e scambiare un lavoro umano per quello dell’IA. Questi errori comportano conseguenze diverse quando l’obiettivo è rilevare contenuti sintetici. Sottolineano inoltre che i test valutano se gli output assomigliano alle risposte umane in condizioni specifiche, non se un sistema pensa o comprende come una persona.
L’imitazione può essere utile, ma anche favorire le frodi
Gli output simili a quelli umani possono avere scopi utili, come riprodurre i giudizi umani nelle applicazioni in cui questo è l’obiettivo. Gli autori avvertono anche che l’imitazione potrebbe favorire la diffusione di informazioni false, il phishing e altre truffe. Hanno reso pubblici i dati e il codice dello studio per valutare i modelli nei compiti testati, offrendo ai ricercatori un modo per confrontare le performance di imitazione insieme ai benchmark standard.
La distinzione centrale dello studio è misurabile: l’accuratezza di un modello in un compito e la somiglianza delle sue risposte a quelle umane non sono punteggi intercambiabili. Nel confronto sulle didascalie, uno poteva migliorare senza che l’altro migliorasse necessariamente.