The Pulse
L’IA ha migliorato i punteggi dei consulenti nei compiti di data science, ma non le loro conoscenze
Uno studio randomizzato su 487 consulenti di direzione ha rilevato che ChatGPT migliorava i risultati in compiti di data science poco familiari. Dopo l’esperimento, i ricercatori non hanno trovato prove che gli utenti dell’IA avessero acqui
AI.info Team · Scritto con l’IA · verificato ·
In uno studio randomizzato, 487 consulenti di direzione hanno usato ChatGPT per affrontare compiti di data science poco familiari, ma i ricercatori non hanno trovato prove che il gruppo assistito dall’IA avesse acquisito conoscenze tecniche dimostrabili senza lo strumento. Lo studio, pubblicato il 26 ottobre su Nature Human Behaviour, delimita ciò che può significare «sviluppo delle competenze» quando i lavoratori svolgono nuovi compiti con un assistente IA: risultati migliori con lo strumento non si sono tradotti, dopo l’esperimento, in conoscenze autonome misurabili.
Punteggi più alti con ChatGPT, nessun aumento delle conoscenze senza lo strumento
I ricercatori hanno dato ai consulenti accesso a ChatGPT e una formazione sul suo utilizzo, poi ne hanno confrontato i risultati con quelli di un gruppo di controllo. I partecipanti hanno svolto compiti al di fuori delle loro consuete competenze, progettati in modo che ChatGPT non potesse risolverli autonomamente. Il gruppo assistito dall’IA ha ottenuto punteggi più alti del gruppo di controllo in tre compiti di data science, anche se, secondo lo studio, non ha raggiunto il livello di esperti di data science.
«Non troviamo prove che, dopo l’esperimento, i lavoratori del gruppo sperimentale siano più capaci di rispondere a domande tecniche senza ChatGPT: questo suggerisce che le capacità tecniche dimostrate non implicano l’acquisizione di conoscenze.»
Emma Wiles et al., «Generative AI and the temporary upskilling of knowledge workers»
Con successive domande, i ricercatori hanno verificato se i partecipanti sapessero rispondere a quesiti di data science e programmazione senza l’IA. I risultati non hanno mostrato un vantaggio attendibile per chi aveva usato ChatGPT. Questo risultato non dimostra che l’IA faccia perdere ai lavoratori competenze già possedute: lo studio ha verificato se i partecipanti avessero acquisito conoscenze in un ambito estraneo alle loro competenze.
Python, statistica e un problema di previsione
Gli esercizi riguardavano tre tipi di attività: scrivere codice Python per ripulire e combinare dati, interpretare informazioni statistiche e correggere errori di modellazione, e costruire e valutare un modello predittivo. Ai consulenti sono stati assegnati due dei tre compiti, con un massimo di 90 minuti per ciascuno. L’esercizio di previsione utilizzava dati sulle partite di calcio, mentre quello di programmazione chiedeva ai partecipanti di ripulire i dati relativi a clienti e ordini e individuare i clienti con la spesa media più alta.
Lo studio è iniziato con 986 lavoratori assegnati ai gruppi sperimentale e di controllo; 573 hanno iniziato il questionario e 487 hanno completato entrambi i compiti utilizzati nell’analisi principale. La distinzione è importante per interpretare la dimensione del campione riportata: i 487 partecipanti citati nell’abstract pubblicato sono quelli inclusi nell’analisi, non tutti quelli inizialmente assegnati. I materiali supplementari descrivono anche le domande separate sulle conoscenze poste dai ricercatori dopo l’esperimento, alle quali ha risposto un gruppo più numeroso.
Ottenere risultati non equivale a imparare
I risultati distinguono due esiti che, nelle valutazioni sul lavoro, possono sembrare simili. Un dipendente può portare a termine un incarico tecnico con maggiore successo grazie a ChatGPT, senza però essere in grado di spiegare o ripetere autonomamente il lavoro su cui si basa. Lo studio descrive l’IA come un «esoscheletro» capace di ampliare le capacità dei lavoratori, ma afferma che questi vantaggi dipendono dall’uso continuato della tecnologia.
La distinzione conta per le aziende che considerano i risultati ottenuti con l’assistenza dell’IA una prova dello sviluppo professionale dei dipendenti. Un’analisi completata può dimostrare che una persona sa collaborare con un sistema di IA, non che abbia imparato la data science. Lo studio ha misurato i risultati nei compiti e le conoscenze dopo l’esperimento; non ha verificato se una pratica più prolungata, un insegnamento strutturato o un uso ripetuto dell’IA accompagnato da istruzioni mirate avrebbero modificato la capacità di conservare le conoscenze.
Uno studio BCG con una coautrice di OpenAI
Allo studio hanno partecipato consulenti di direzione reclutati tramite Boston Consulting Group, il cui Henderson Institute è indicato come affiliazione di diversi autori. BCG ha messo a disposizione il tempo dei dipendenti e risorse interne per la ricerca; secondo l’articolo, gli autori affiliati a BCG hanno partecipato alla progettazione, alla raccolta e all’analisi dei dati e alla stesura del testo. La coautrice Pamela Mishkin è affiliata al gruppo Economic Impacts Research di OpenAI, che, secondo l’articolo, ha collaborato alla progettazione dei compiti.
Lo studio offre quindi indicazioni su un gruppo di consulenti impegnati in una serie circoscritta di esercizi di data science, non dimostra che l’IA riduca le competenze in diverse professioni. Se l’uso dell’IA accompagnato da indicazioni possa trasformare risultati migliori ottenuti con il suo supporto in conoscenze durature, e se ciò accada in altri lavori, resta al di fuori dei risultati dello studio.