Il ruolo dei segnali demografici impliciti ed espliciti nella valutazione degli studenti basata su modelli linguistici di grandi dimensioni

Abstract degli autori

I modelli linguistici di grandi dimensioni sono ormai comunemente usati nella valutazione degli studenti, ma sappiamo poco di come le caratteristiche demografiche degli studenti influiscano sul loro impiego. In alcuni casi, considerare le caratteristiche demografiche degli studenti può essere necessario, per esempio per migliorare la leggibilità per gli utenti con livelli di istruzione più bassi. Tuttavia, questo comporta anche il rischio di diventare causa di discriminazione, per esempio quando si assegnano punteggi più bassi agli studenti provenienti da contesti socioeconomici svantaggiati. Abbiamo predisposto prompt controllati per verificare 1) gli effetti demografici espliciti, in cui menzioniamo direttamente dettagli demografici, e 2) gli effetti impliciti, in cui usiamo la cronologia della conversazione come segnale demografico. Abbiamo testato queste impostazioni in tre compiti: valutazione automatizzata dei saggi, feedback formativo e risposta a domande metalinguistiche. Abbiamo testato sei modelli linguistici di grandi dimensioni all’avanguardia su questi compiti. Sia nei casi espliciti sia in quelli impliciti, i modelli colgono gli indizi demografici e possono modificare di conseguenza i punteggi, i feedback e le risposte. Abbiamo rilevato che i modelli linguistici di grandi dimensioni spesso adeguano la leggibilità del feedback ai livelli di istruzione quando questi sono menzionati esplicitamente. D’altro canto, le condizioni implicite producono distorsioni imprevedibili, per esempio nella risposta alle domande, dove le risposte degli studenti con livelli di istruzione più bassi ricevono punteggi di sentiment più bassi. I nostri risultati forniscono prove chiare della sensibilità demografica dei modelli linguistici di grandi dimensioni nei compiti di valutazione didattica.