Valutazione stratificata con più valutatori di pazienti standardizzati virtuali basati su LLM, con una piattaforma operativa per la generazione di dati

Abstract degli autori

L’Objective Structured Clinical Examination (OSCE) è ampiamente utilizzato nella formazione medica per valutare le capacità di comunicazione clinica: richiede agli studenti di raccogliere l’anamnesi e formulare ragionamenti clinici interagendo con pazienti standardizzati (SP). I pazienti standardizzati virtuali (VSP) basati su modelli linguistici di grandi dimensioni (LLM), in genere realizzati mediante prompt che definiscono una persona, offrono un’alternativa praticabile. Le valutazioni esistenti, tuttavia, si basano su un unico LLM di base, su piccoli gruppi di valutatori umani o su punteggi assegnati da un LLM nel ruolo di giudice senza un riferimento di esperti umani allineato alle singole battute. Non consentono quindi di individuare le carenze specifiche dei singoli modelli. Abbiamo valutato quattro LLM (GPT-4o, Claude 3.5 Sonnet, Llama-3.1 70B e HyperCLOVA X), comprendenti modelli commerciali, open source e sviluppati in Corea, rispetto a un riferimento costituito da esperti umani in tre casi OSCE coreani (ematuria, febbre in gravidanza e tosse cronica). In uno studio in doppio cieco con disegno completamente incrociato, 17 valutatori, studenti di medicina degli ultimi anni, hanno attribuito un punteggio a ogni battuta dei modelli secondo tre metriche Likert a livello di frase e sei a livello di colloquio, per un totale di 7.480 dati. Abbiamo analizzato i punteggi con un modello lineare stratificato a effetti misti, basato su una tassonomia della raccolta dell’anamnesi in 11 categorie e della forma linguistica in 3 livelli. A livello di colloquio, tre dei quattro LLM hanno ottenuto punteggi inferiori al riferimento umano di 0,08–0,47 punti Likert per Comprensibilità, Coerenza e Assenza di allucinazioni. La differenza non era statisticamente significativa per l’Assenza di allucinazioni in Claude 3.5 Sonnet e GPT-4o, per la Coerenza in GPT-4o e per il Coinvolgimento in HyperCLOVA X. Llama-3.1 70B ha ottenuto punteggi significativamente inferiori al riferimento in tutte e sei le metriche. Presentiamo inoltre una piattaforma OSCE basata sul web che consente esercitazioni virtuali su diversi casi clinici e raccoglie continuativamente i dialoghi tra studenti e VSP, previo consenso per la ricerca e la privacy.