L’uso dei modelli linguistici da parte dei clinici diverge dal modo in cui i modelli vengono valutati

Abstract degli autori

Gli assistenti basati su modelli linguistici di grandi dimensioni (LLM) vengono messi a disposizione dei clinici nei sistemi sanitari, e le valutazioni sulla loro idoneità all’impiego si basano in larga misura sui punteggi dei benchmark, perlopiù ricavati da domande d’esame o casi selezionati. Un benchmark predice le prestazioni nell’impiego effettivo solo nella misura in cui le sue prove somigliano all’uso reale, eppure raramente si è misurato se i benchmark rispecchino i compiti affidati a questi sistemi. Qui analizziamo 127.833 richieste inviate a un assistente istituzionale da 6.342 medici, professionisti sanitari di pratica avanzata e infermieri di 35 specialità durante un’introduzione progressiva durata otto mesi. Descriviamo ciascuna richiesta con RCQ-Map, un sistema di classificazione validato da clinici e basato su tassonomie delle domande cliniche e della valutazione degli LLM, che ne registra il compito, l’intento, la possibilità di fornire una risposta, le informazioni mancanti e i potenziali danni. La documentazione e l’amministrazione (36,2%) e la ricerca di informazioni (28,9%) rappresentavano insieme quasi due terzi dell’uso, mentre la diagnosi ne rappresentava il 3,7%; oltre un terzo delle richieste non poteva ricevere una risposta adeguata così come era formulato. L’applicazione di RCQ-Map a 58 benchmark pubblici, tratti dalle principali raccolte di valutazioni e dai rapporti sui modelli di frontiera e riuniti da noi nel Clinical AI Benchmark Atlas, ha mostrato che il benchmark mediano non conteneva richieste relative alla documentazione e presentava una corrispondenza del 31% con la distribuzione dei compiti nell’uso reale: meno di quanto si otterrebbe distribuendo uniformemente le prove tra le categorie di compiti. Considerati singolarmente, i benchmark delle raccolte progettate per somigliare alla pratica clinica non erano più vicini all’uso reale di quelli impiegati nei rapporti sui modelli di frontiera. I punteggi dei benchmark dicono quindi poco su come l’IA clinica svolga la maggior parte dei compiti che le vengono effettivamente affidati, e la valutazione dovrebbe rispecchiare l’uso clinico reale.