The Pulse
L’IA di Microsoft raggiunge l’83% nei casi complessi, contro il 36% dei medici
Secondo Microsoft, il suo sistema diagnostico MAI-DxO ha raggiunto l’83% nei casi complessi del New England Journal of Medicine, contro il 36% dei medici che disponevano di strumenti di consultazione. Lo studio pubblicato su Science ha mess
AI.info Team · Scritto con l’IA · verificato ·
83% nei casi complessi, contro il 36% dei medici
Il sistema diagnostico di IA di Microsoft ha raggiunto un’accuratezza dell’83% nei casi medici complessi, contro il 36% dei medici che potevano consultare libri di testo e internet, ha dichiarato l’azienda il 22 ottobre. I risultati sono apparsi su Science in uno studio sulla diagnosi sequenziale: un medico o un sistema di IA parte da informazioni limitate, poi decide quali domande porre o quali esami richiedere prima di formulare una diagnosi. Il sistema di Microsoft, chiamato MAI-DxO, ha raggiunto anche l’80% nei casi più tipici di pronto soccorso, contro il 47% dei medici.
I confronti colpiscono, ma descrivono le prestazioni in un benchmark, non gli esiti per i pazienti curati. Secondo Microsoft, nei casi complessi MAI-DxO è stato circa 2,3 volte più accurato dei medici dotati di strumenti di consultazione e circa 3,7 volte più accurato dei medici che lavoravano senza. Nei casi di pronto soccorso, la sua accuratezza è stata più di 1,7 volte quella dei medici.
MAI-DxO decide cosa chiedere o fare dopo
Il benchmark, chiamato Sequential Diagnosis Benchmark, comprende 304 casi complessi tratti da The New England Journal of Medicine e un secondo insieme di casi più tipici di pronto soccorso provenienti da MIMIC-IV-ED. Anziché mostrare tutti i dettagli del caso in una volta, fornisce al sistema un riepilogo iniziale e gli permette di richiedere ulteriori informazioni per fasi. Secondo Microsoft, la valutazione tiene conto dell’accuratezza, dei riscontri richiesti e dei costi stimati degli esami: misura quindi sia il percorso verso la diagnosi sia la risposta finale.
MAI-DxO organizza più cicli di diagnosi proposte, domande ed esami. Il sistema valuta il probabile valore di ciascun esame in rapporto al costo e aggiorna la propria valutazione man mano che arrivano nuove informazioni. Microsoft descrive così il benchmark: «Ciascuno diventa un caso interattivo in cui i modelli di IA e/o i medici partono da informazioni limitate e scelgono cosa richiedere dopo».
L’azienda riferisce inoltre che una configurazione orientata ai costi ha raggiunto un’accuratezza dell’81% nei casi complessi a meno della metà del costo dei sistemi usati per il confronto. La sua affermazione più ampia è che nessun altro approccio umano o di IA sottoposto a test è risultato al tempo stesso più accurato e meno costoso nei due dataset. Queste stime dei costi fanno parte del benchmark, non sono la prova di risparmi già ottenuti in ospedale.
I limiti del benchmark sono insiti nella sua struttura
SDBench riproduce un percorso diagnostico per fasi, ma i suoi casi provengono da cartelle cliniche esistenti, non da colloqui con i pazienti in contesti clinici reali. Il meccanismo di controllo del benchmark restituisce un riscontro reale quando questo è presente nella cartella del caso; quando manca, può fornire un risultato sintetico. Questa scelta progettuale è documentata sul sito di SDBench ed è importante per interpretare le prestazioni: alcune informazioni richieste potrebbero essere generate per la simulazione anziché provenire dal caso originale.
Anche l’accesso agli insiemi di casi sottostanti è soggetto a condizioni. I casi del NEJM richiedono una licenza del NEJM, mentre il dataset MIMIC richiede l’accreditamento, una formazione e l’accettazione del relativo accordo sull’uso dei dati. Microsoft afferma che sta rendendo disponibile il codice del benchmark e della valutazione per alcuni casi del NEJM, affinché i ricercatori possano riprodurre i risultati e mettere alla prova altri modelli; il sito del benchmark distingue questi casi clinici soggetti a licenza da cinque casi sintetici forniti per una valutazione aperta e senza restrizioni di accesso.
Lo studio sostiene quindi una conclusione circoscritta: MAI-DxO ha ottenuto risultati migliori dei gruppi di medici usati per il confronto nei casi e alle condizioni esaminati. Non dimostra che il sistema superi gli specialisti, le équipe cliniche o i medici che lavorano con i pazienti nella pratica ordinaria. Né un punteggio più alto nel benchmark dimostra, di per sé, che l’uso dello strumento migliori la salute dei pazienti.
Il prossimo banco di prova è uno studio ospedaliero
Microsoft afferma che una nuova collaborazione con il Beth Israel Deaconess Medical Center di Boston valuterà il ragionamento clinico in diversi contesti ospedalieri. Nello studio prospettico in programma, i pazienti interagiranno direttamente con il sistema e le sue prestazioni saranno confrontate con le valutazioni indipendenti dei medici. Questa prova affronta una questione diversa da quella di SDBench: se l’approccio funzioni quando entrano in gioco le persone, i flussi di lavoro clinici e l’assistenza nel mondo reale.
Per ora, il risultato dell’83% riguarda una valutazione controllata di casi scritti. Il prossimo dato concreto arriverà dallo studio ospedaliero che Microsoft afferma di voler condurre, nel quale le raccomandazioni del sistema potranno essere valutate insieme ai giudizi indipendenti dei medici.