MoveBench: un benchmark basato su rubriche di valutazione per i modelli linguistici di grandi dimensioni nel coaching sportivo e per la salute

Abstract degli autori

Nonostante i rapidi progressi dei modelli linguistici di grandi dimensioni (LLM), il loro impiego nell’ambito dello sport e della salute resta ad alto rischio per l’assenza di benchmark di valutazione specifici per il settore. I benchmark generalisti esistenti (per esempio MMLU e HELM) valutano soprattutto conoscenze ampie e capacità di ragionamento, ma non colgono requisiti cruciali del settore, come la sicurezza degli esercizi, l’adeguatezza fisiologica, la personalizzazione e la qualità di indicazioni di coaching concretamente applicabili. Questa lacuna è particolarmente preoccupante nelle applicazioni per il fitness e la salute, dove raccomandazioni errate o non sicure possono causare danni fisici. Per colmarla, presentiamo MoveBench, il primo framework completo di benchmarking progettato specificamente per valutare gli LLM nel coaching sportivo e per la salute. Il benchmark proposto integra formati di attività diversi, tra cui domande a scelta multipla (MCQs) e risposte a domande aperte (OpenQA), basati su scenari d’uso reali e accompagnati da rubriche strutturate che mettono l’accento sul rispetto dei requisiti di sicurezza, sulla validità scientifica e sulla logica dell’allenamento. Valutando su larga scala 15 LLM diversi mediante 809 domande e 5.012 criteri delle rubriche, abbiamo riscontrato notevoli differenze nelle prestazioni, in particolare nella consapevolezza degli aspetti di sicurezza, nella progettazione di programmi strutturati e nella capacità di personalizzazione. I risultati evidenziano così un divario critico tra sapere e fare. Il nostro lavoro pone le basi per uno standard di valutazione delle applicazioni degli LLM allo sport e alla salute e offre un framework riproducibile per sviluppare sistemi di coaching basati sull’IA sicuri, affidabili e attenti al contesto. Le risorse aperte sono disponibili all’indirizzo https://github.com/SatoSakula/MoveBench.