NPCBench: un benchmark di apprendistato clinico per il ragionamento multimodale sui percorsi assistenziali nel carcinoma nasofaringeo

Abstract degli autori

Gli attuali benchmark medici in genere scompongono la competenza clinica in domande fattuali isolate, compiti basati su singole immagini o vignette cliniche statiche. Questi test valutano le singole risposte, ma dicono meno sulla capacità di un modello di integrare conoscenze subspecialistiche ed evidenze multimodali e di seguire le condizioni di un paziente durante un percorso di cura. Per colmare questa lacuna, presentiamo NPCBench, un benchmark di apprendistato clinico per il carcinoma nasofaringeo (NPC). NPCBench rispecchia la formazione specialistica, dalle conoscenze fondamentali e dalle linee guida alla pianificazione dei casi, alla revisione longitudinale, all’integrazione di CarePath e alla consultazione a risposta aperta. Comprende 4.777 elementi relativi alle componenti e alle consultazioni e una coorte CarePath di 100 pazienti, con 417 compiti diagnostici e assistenziali valutati. La valutazione a livello di episodio verifica se le risposte diagnostiche e assistenziali sono entrambe corrette all’interno di un percorso di cura. Collegando compiti articolati per fasi alle traiettorie assistenziali dei singoli pazienti, NPCBench valuta se i modelli fondano le decisioni su evidenze visive, interpretano i cambiamenti delle condizioni dei pazienti e soddisfano i requisiti clinici durante la consultazione. Sui 30 modelli valutati osserviamo un divario di composizione: prestazioni elevate nei singoli compiti non garantiscono risposte diagnostiche e assistenziali entrambe corrette per lo stesso paziente. Tra i 21 modelli multimodali, il tasso di successo rigoroso in CarePath raggiunge al massimo il 23%. Controlli appaiati e calibrazione da parte dei medici consentono inoltre di esaminare il fondamento delle decisioni nelle evidenze, la revisione longitudinale e la valutazione delle consultazioni. Nel complesso, NPCBench amplia la valutazione dell’intelligenza artificiale medica oltre i paradigmi statici di domanda e risposta, proponendo una valutazione dei flussi di lavoro clinici orientata all’apprendistato e offrendo così un banco di prova per il ragionamento basato sulle evidenze e coerente nel tempo nell’assistenza oncologica.