Valutazione delle relazioni degli studenti basata su rubriche con modelli linguistici di piccole dimensioni

Abstract degli autori

I modelli linguistici possono analizzare e valutare i testi degli studenti usando rubriche predefinite e fornire feedback strutturati, riducendo il carico di lavoro dei docenti. Tuttavia, le soluzioni esistenti si affidano spesso a servizi esterni, che richiedono molte risorse, sono costosi e sollevano problemi di privacy, risultando inadatti agli ambienti con risorse limitate. Questo studio valuta una pipeline di valutazione automatizzata con tre obiettivi principali: progettazione per ambienti con risorse limitate, tutela della privacy e attenzione a un contesto innovativo nell’insegnamento della cybersecurity. La pipeline integra modelli linguistici leggeri per la valutazione testuale e un modello visione-linguaggio per l’interpretazione delle immagini. Le risposte di 105 studenti sono state raccolte nell’arco di due semestri di un corso universitario di primo ciclo, durante un’esercitazione di cybersecurity sulla risposta agli incidenti. I risultati ottenuti con diverse configurazioni hardware mostrano che i modelli di piccole dimensioni, in ambienti con risorse limitate, possono raggiungere un’accuratezza fino al 97% nelle valutazioni basate solo sul testo e fino al 94% in quelle basate su testi formattati. Questi risultati sono alla pari con quelli di un modello di grandi dimensioni, o addirittura superiori, e si aggiungono ai vantaggi della valutazione ospitata localmente. La soluzione può aiutare docenti e professionisti che hanno bisogno di supporto nella correzione senza rinunciare alla supervisione umana, soprattutto negli ambienti in cui le soluzioni basate sul cloud potrebbero essere impraticabili. Questo studio contribuisce con una pipeline open source per l’assegnazione dei punteggi assistita dall’IA, installabile localmente e funzionante su hardware economico, che può essere estesa a diversi tipi di relazioni degli studenti nell’insegnamento dell’informatica. Di conseguenza, rende la valutazione automatizzata accessibile a un’ampia gamma di docenti e istituzioni.