StudentBench: il tutoraggio con l’IA e quello umano producono progressi equivalenti nella preparazione al GRE

Abstract degli autori

L’intelligenza artificiale offre un’opportunità senza precedenti per potenziare le capacità umane, ma i progressi alla frontiera della ricerca si sono concentrati soprattutto sul miglioramento delle capacità dei modelli. Presentiamo StudentBench, un insieme di valutazioni delle capacità didattiche dell’IA e una piattaforma pubblica che consente di raccogliere dati su larga scala, con oltre 175.000 messaggi scambiati tra studenti e IA, per studiare se i modelli linguistici di grandi dimensioni (LLM) producano progressi nell’apprendimento equivalenti a quelli del tutoraggio umano. Con StudentBench abbiamo misurato i progressi nell’apprendimento su quesiti delle sezioni quantitativa e verbale del GRE tra 2.383 partecipanti che hanno ricevuto tutoraggio con l’IA, tutoraggio umano oppure nessun tutoraggio. Dimostriamo che, in termini di progressi nell’apprendimento per il GRE, il tutoraggio con l’IA è statisticamente equivalente a quello offerto da tutor umani esperti (p = 0,015) e che, in cinque dei sette ambiti del GRE, il tutor di IA con i risultati migliori ha superato in media il tutor umano. In un secondo studio, tutor umani esperti hanno confrontato piani di lezione e problemi per esercitarsi generati da LLM mediante 2.028 valutazioni a coppie basate su griglie di valutazione. Nel complesso, i due studi permettono di distinguere chiaramente i tutor di IA in base a: (1) pianificazione delle lezioni, (2) creazione di problemi per esercitarsi, (3) approccio pedagogico nella conversazione, (4) costo e (5) coinvolgimento. Sorprendentemente, un tutor di IA ha ottenuto progressi nell’apprendimento equivalenti a quelli del tutoraggio umano (p = 0,044) a un costo 918 volte inferiore (0,0052 dollari per l’IA contro 4,81 dollari per il tutor umano, per ogni punto percentuale guadagnato). Nelle sessioni dedicate alla sezione quantitativa del GRE, risposte più rapide dell’IA erano correlate a un maggior numero di messaggi degli studenti; un maggior numero di messaggi, a una maggiore quantità di esercitazione svolta correttamente; e una maggiore quantità di esercitazione svolta correttamente, a maggiori progressi nell’apprendimento (tutti p < 0,002). La piattaforma StudentBench è disponibile gratuitamente su https://studentbench.org.