DICE: separare la capacità dalla necessità di intervenire nel tutoraggio con LLM

Abstract degli autori

Una guida fluida non equivale a un intervento utile. I tutor basati su LLM vengono generalmente addestrati a generare la successiva battuta dell’insegnante, dando implicitamente per scontato che ogni turno dello studente richieda una risposta. I nostri esperimenti indicano però che questo approccio confonde la capacità di tutoraggio (cosa dire) con la necessità di intervenire (se dirlo). Presentiamo DICE, un framework che separa la decisione di intervenire dalla generazione della risposta selezionando prima un’azione pedagogica esplicita. Per calibrare la scelta dell’azione, definiamo Intervention Value (IV), una metrica controfattuale basata sui rollout che confronta ogni azione con il mancato intervento. IV mostra che molti degli interventi prescritti apportano un beneficio marginale scarso o nullo. Presentiamo inoltre DICE-Bench, un benchmark per il tutoraggio matematico con più varianti dei problemi che preservano le competenze richieste, pensato per la valutazione a livello di sessione. Attraverso l’ottimizzazione della politica ponderata in base a IV e regolarizzata mediante KL, DICE impara a intervenire in modo selettivo senza perdere efficacia nel tutoraggio. Nelle sessioni di tutoraggio simulate, DICE riduce il tasso di interventi eccessivi fin quasi a zero e guida gli studenti verso le soluzioni corrette in circa 3-4 turni in meno, in media, rispetto ai sistemi di riferimento esistenti per il tutoraggio socratico.