The Pulse
OpenAI o1 ha superato i medici in alcuni test diagnostici
Uno studio pubblicato su Science ha rilevato che OpenAI o1 ha superato i gruppi di medici usati come termine di confronto in diversi compiti di ragionamento clinico basati su testi. Il divario più ampio riportato riguarda un esercizio di ra
AI.info Team · Scritto con l’IA · verificato ·
Lo studio pubblicato su Science ha valutato OpenAI o1, non un sistema sviluppato da Microsoft
Uno studio pubblicato su Science il 30 aprile 2026 riferisce che il modello linguistico o1 di OpenAI ha superato i gruppi di medici usati come termine di confronto in diversi test di ragionamento clinico. Nonostante l’impostazione di alcuni articoli, lo studio non valuta uno strumento diagnostico sviluppato da Microsoft. Tra gli autori figurano ricercatori affiliati al Beth Israel Deaconess Medical Center, a Harvard, a Stanford e a Microsoft Research.
I ricercatori hanno valutato il modello in cinque esperimenti basati su casi clinici complessi e su risultati di riferimento ottenuti da centinaia di medici. Hanno inoltre confrontato i secondi pareri generati dall’IA con le valutazioni dei medici in 76 casi di pronto soccorso selezionati casualmente.
«In tutti gli esperimenti, il modello linguistico di grandi dimensioni ha superato i risultati di riferimento dei medici e ha mostrato un ulteriore miglioramento rispetto alle precedenti generazioni di strumenti di supporto alle decisioni cliniche basati sull’IA.»
Peter G. Brodeur e gli altri autori dello studio
Il divario maggiore riguardava il ragionamento sulla gestione clinica
In un esercizio di ragionamento sulla gestione clinica, o1-preview ha ottenuto un punteggio mediano dell’89%, contro il 34% dei medici che utilizzavano risorse convenzionali. La differenza era maggiore di quelle rilevate nel confronto sui casi di pronto soccorso: secondo la sintesi del Science Media Centre, la diagnosi formulata da o1 al triage è stata giudicata corretta o molto vicina in 67% dei casi, contro il 55% e il 50% dei due medici strutturati.
I casi di pronto soccorso provenivano dalle cartelle cliniche di un unico centro medico universitario, non da una valutazione dal vivo in cui l’IA visitava i pazienti o ne dirigeva il trattamento. Il compito consisteva nel formulare una diagnosi differenziale come secondo parere a partire dalle informazioni cliniche. La distinzione è importante: il confronto misurava se i suggerimenti scritti del modello corrispondessero alle valutazioni dei medici, non se l’uso del modello migliorasse l’assistenza o gli esiti per i pazienti.
I punteggi elevati non dimostrano che il modello sia pronto per l’uso clinico
I ricercatori hanno anche confrontato il modello con i medici in compiti strutturati riguardanti diagnosi, decisioni sulla gestione clinica e stime di probabilità. Nell’esercizio di ragionamento sulla gestione clinica, i medici con accesso a GPT-4 hanno ottenuto il 41%, mentre GPT-4 da solo ha ottenuto il 42%.
Questi risultati provengono da valutazioni controllate basate su testi. Nell’assistenza d’urgenza, i medici visitano anche i pazienti, interpretano immagini e altre informazioni non testuali, valutano le incertezze e coordinano i trattamenti. Lo studio non ha verificato se il modello sia in grado di svolgere questi compiti più ampi né se i medici che lo utilizzano prendano decisioni migliori.
Gli autori chiedono studi prospettici
L’abstract dello studio afferma che i risultati rendono urgente condurre studi prospettici. Questi studi valuterebbero l’IA nei flussi di lavoro clinici reali e misurerebbero aspetti ulteriori rispetto alla concordanza diagnostica, tra cui la sicurezza e gli effetti sull’assistenza ai pazienti. Anche esperti indipendenti che hanno commentato lo studio hanno messo in guardia dall’interpretare il confronto sui casi di pronto soccorso come una prova della capacità di prendere decisioni in tempo reale o di gestire i pazienti.
Lo studio sostiene l’opportunità di valutare i modelli linguistici come possibili strumenti per ottenere un secondo parere diagnostico, non di sostituire i medici o di consigliare ai pazienti di affidarsi ai chatbot destinati ai consumatori. Il suo risultato relativo al mondo reale si limita a un confronto retrospettivo: tra 76 cartelle cliniche di pronto soccorso, i suggerimenti di o1 sono stati giudicati identici o molto vicini alla diagnosi finale nel 67% dei casi al triage.