VIRA-Bench: diagnosticare la comprensione della contingenza pedagogica nei video di tutoraggio online

Abstract degli autori

Comprendere un video di tutoraggio individuale richiede più che riconoscere gli eventi che vi si svolgono. Un modello deve collegare un intervento visibile dell’insegnante alla risposta che suscita nello studente e al successivo intervento adattato a quella risposta. I benchmark esistenti sui video e sui dialoghi educativi si concentrano generalmente sul riconoscimento degli eventi, sul ragionamento temporale, sull’inferenza degli stati sociali o sulle interazioni basate su trascrizioni, ma raramente valutano in modo mirato questa relazione tra azione, risposta e adattamento. Presentiamo VIRA-Bench, un benchmark diagnostico mirato alla contingenza pedagogica a breve termine nel tutoraggio individuale online. VIRA-Bench comprende 1.005 clip di tutoraggio e 1.322 domande a scelta multipla, con una verifica delle evidenze da parte dei ricercatori e una convalida da parte di esperti, organizzate in Observable Evidence Grounding (OEG), Interaction Contingency Reasoning (ICR) e Support-Response Modeling (SRM). Tra 11 modelli, il migliore raggiunge il 61,3%, ben al di sotto del valore di riferimento umano del 91,0% su un sottoinsieme stratificato; nei modelli migliori, ICR presenta generalmente l’accuratezza più bassa tra i livelli. In manipolazioni controllate degli input, la rimozione del video peggiora soprattutto i risultati di OEG, mentre l’alterazione dell’ordine temporale peggiora soprattutto quelli di ICR. I controlli Free-response, Stem+Options e synchronized-shuffle mostrano che il formato della risposta, gli indizi statici presenti nelle domande e il disallineamento tra video e ASR non spiegano queste differenze tra i livelli. I risultati individuano dipendenze distinte dalle evidenze comportamentali, senza attribuirle a un meccanismo architetturale interno. VIRA-Bench offre una risorsa di valutazione mirata per l’ancoraggio dei dialoghi multimodali alle evidenze, il discorso pedagogico e il ragionamento temporale nel tutoraggio online.