The Pulse
L’aiuto di GPT-5 ha ridotto la perseveranza nei compiti successivi
Tre esperimenti randomizzati condotti su 1.222 persone hanno rilevato che un breve accesso a GPT-5 migliorava i risultati finché era disponibile, ma era seguito da risultati peggiori nei compiti svolti senza aiuto. I test hanno misurato le
AI.info Team · Scritto con l’IA ·
In tre esperimenti randomizzati con 1.222 partecipanti, una breve assistenza dell’IA ha migliorato i risultati finché era disponibile, ma è stata seguita da risultati peggiori senza aiuto e da una maggiore tendenza a rinunciare in alcuni compiti. La ricerca, presentata alla Conference on Language Modeling e illustrata da UC Berkeley il 9 ottobre, ha esaminato che cosa accadeva quando l’assistente veniva rimosso dopo circa 10-15 minuti di utilizzo.
Tre esperimenti, due tipi di compiti
I ricercatori Grace Liu, Brian Christian, Tsvetomira Dumbalska, Michiel A. Bakker e Rachit Dubey hanno reclutato partecipanti negli Stati Uniti tramite Prolific. Hanno studiato problemi con le frazioni in due esperimenti e quesiti di comprensione del testo sul modello del SAT in un terzo. I partecipanti assegnati alla condizione con IA hanno usato un assistente GPT-5 in una barra laterale simile a quella di ChatGPT; i ricercatori lo hanno poi rimosso prima dei problemi finali.
Gli autori dello studio scrivono: «In una varietà di compiti, tra cui il ragionamento matematico e la comprensione del testo, riscontriamo che, sebbene l’assistenza dell’IA migliori i risultati a breve termine, senza IA le persone ottengono risultati significativamente peggiori e hanno maggiori probabilità di rinunciare». Nel primo esperimento sulle frazioni, il gruppo con IA ha risolto correttamente il 57% degli ultimi tre problemi, contro il 73% del gruppo di controllo. I partecipanti del gruppo con IA hanno saltato il 20% di quei problemi, contro l’11% del gruppo di controllo.
Il secondo test di matematica ha dato risultati contrastanti
Una replica più ampia ha reclutato 667 persone e ha aggiunto un test preliminare per tenere conto delle differenze tra i gruppi emerse nel primo esperimento. Tra i partecipanti inclusi nell’analisi, il gruppo con IA ha risolto correttamente il 71% dei problemi finali sulle frazioni, contro il 77% del gruppo di controllo. La differenza nei risultati era statisticamente significativa, ma quella tra le percentuali di problemi saltati dai due gruppi — il 10% e il 7% — non lo era.
I ricercatori hanno anche confrontato i risultati in base a come i partecipanti dicevano di aver usato l’assistente. In questa analisi, chi ha dichiarato di aver chiesto risposte dirette ha mostrato in seguito percentuali inferiori di problemi risolti e percentuali superiori di problemi saltati rispetto a chi aveva chiesto suggerimenti o chiarimenti. Gli autori precisano che questo confronto si basava sull’uso dichiarato, non su un’assegnazione randomizzata, e quindi non può stabilire che sia stata la richiesta di risposte dirette a causare la differenza.
I risultati sulla lettura ampliano la portata della scoperta, ma anche i suoi limiti
Nel terzo esperimento, 201 persone hanno affrontato quesiti di comprensione del testo; l’IA è stata rimossa prima degli ultimi tre. Nel campione incluso nell’analisi, i partecipanti che avevano avuto accesso all’IA hanno risposto correttamente al 76% di quei quesiti finali, contro l’89% del gruppo di controllo, e ne hanno saltato l’8%, contro l’1%. Lo studio ha considerato come saltate le risposte inviate in meno di cinque secondi: un dettaglio importante per interpretare la sua misura della perseveranza.
Brian Christian, ricercatore presso il Center for Human-Compatible AI di UC Berkeley, ha dichiarato: «Dobbiamo lavorare per un futuro in cui le capacità umane siano, per quanto possibile, potenziate anziché sostituite». Il gruppo di ricerca sostiene che gli assistenti progettati per guidare gli utenti, anziché fornire risposte complete, potrebbero favorire maggiormente lo sviluppo di competenze autonome; l’analisi dell’uso dei suggerimenti offre una possibile pista, non la prova che questo approccio prevenga l’effetto.
I risultati immediati non dimostrano un declino duraturo
Gli esperimenti hanno misurato i risultati subito dopo la fine dell’accesso all’IA. Non hanno verificato se i cambiamenti durassero ore o giorni, né se l’uso quotidiano ripetuto si traduca in una perdita duratura di capacità. Gli autori osservano inoltre che l’assistente era configurato per fornire risposte complete su richiesta: lo studio riguarda quindi un tipo particolare di utilizzo dell’IA, non tutti i modi in cui le persone usano ChatGPT.
I risultati indicano un compromesso specifico in questi brevi compiti: l’IA può aiutare le persone a trovare le risposte durante una sessione, ma lasciarle meno capaci di riuscirci quando devono proseguire da sole. Resta da verificare se un’assistenza simile a quella di un tutor possa offrire l’aiuto immediato senza il successivo calo, anch’esso immediato, dei risultati.