Auto-MD-bench: valutare gli agenti di ricerca autonoma in compiti medici reali

Abstract degli autori

Gli agenti autonomi sono sempre più capaci di sviluppare modelli di apprendimento automatico (ML) dall’inizio alla fine. Nella pratica medica, tuttavia, un buon risultato nella metrica obiettivo non basta a descrivere quanto siano validi i modelli nei casi d’uso reali. Per esempio, i modelli di ML per la medicina dovrebbero anche fornire stime del rischio ben calibrate e mantenersi robusti in diverse popolazioni di pazienti. Eppure lo sviluppo autonomo dei modelli è generalmente guidato da obiettivi che privilegiano la semplice capacità di discriminazione predittiva (per esempio l’AUROC). Questo solleva una domanda fondamentale: tali obiettivi sono sufficienti a guidare gli agenti verso modelli che soddisfino i requisiti più ampi dell’uso medico reale? In questo studio presentiamo Auto-MD-bench, un benchmark di 15 compiti medici reali tratti da 10 dataset clinici, che comprendono analisi di sopravvivenza, classificazione e previsione sequenziale, con validazione esterna tra coorti, ospedali e periodi temporali. Valutiamo quattro agenti: AIDE, AI Scientist v2, Codex e Autoresearch. Gli agenti più efficaci ottengono punteggi competitivi nelle metriche principali, ma le loro stime del rischio sono meno ben calibrate di quelle dei semplici modelli di riferimento, il che potrebbe causare gravi incidenti medici. Inoltre, modelli con punteggi principali pressoché identici possono presentare una calibrazione molto diversa, mentre le prestazioni variano notevolmente al cambiare delle popolazioni. Questi risultati mostrano che le prestazioni nel compito principale, da sole, non bastano a valutare la modellazione clinica autonoma e che occorre tenere conto di diverse metriche ampiamente utilizzate nella pratica sanitaria.