CLARA: l’IA può valutare se le storie per bambini sono adeguate alle fasi dello sviluppo?

Abstract degli autori

Valutare se le storie per bambini sono adeguate alle fasi dello sviluppo è importante per i sistemi di raccomandazione in ambito educativo e per la ricerca sull’alfabetizzazione in età evolutiva. Questa valutazione, però, si basa di solito sul giudizio umano, soggettivo e difficile da applicare su larga scala. Da qui una domanda: i sistemi di IA possono approssimare le valutazioni umane sull’adeguatezza delle storie per bambini alle fasi dello sviluppo? Per studiare il problema, presentiamo CLARA, un framework fondato su principi cognitivi per comprendere le storie in relazione allo sviluppo, attraverso annotazioni strutturate nelle dimensioni cognitiva (COG), linguistica (LAN) e socio-emotiva (SEL). Presentiamo inoltre una risorsa benchmark bilingue che contiene 1107 storie per bambini in cinese e inglese, con riferimenti normalizzati di tipo silver relativi allo sviluppo e annotazioni strutturate sullo sviluppo. Valutiamo CLARA mediante un confronto con benchmark, un’analisi delle componenti, un’analisi della coerenza bilingue delle traduzioni e una valutazione in cieco condotta con educatori. I risultati sperimentali mostrano che le annotazioni strutturate sullo sviluppo presentano una concordanza nettamente maggiore con i riferimenti relativi allo sviluppo e con le valutazioni umane rispetto ai metodi basati sulla leggibilità e ai metodi di riferimento basati su prompt diretti. Nel complesso, i nostri risultati suggeriscono che i sistemi di IA, se guidati da annotazioni strutturate sullo sviluppo, possono approssimare alcuni aspetti della valutazione umana, evidenziando al tempo stesso l’importanza dell’interpretabilità e della supervisione umana nell’NLP in ambito educativo.