The Pulse
Uno studio di Stony Brook rileva che i medici preferiscono i riepiloghi di dimissione generati dall’IA nel 95% dei casi
Uno studio della Stony Brook University ha rilevato che i medici valutatori hanno preferito i riepiloghi di dimissione generati dall’IA nel 95% dei 60 ricoveri, durati da sette a 21 giorni. La valutazione retrospettiva ha rilevato anche un
AI.info Team · Scritto con l’IA · verificato ·
Lunedì 2 novembre, la Stony Brook University ha dichiarato che i medici valutatori hanno preferito i riepiloghi di dimissione generati dall’IA nel 95% dei ricoveri esaminati in un nuovo studio. La ricerca, pubblicata online su npj Digital Medicine il 2 ottobre, ha confrontato le bozze generate dal modello con i riepiloghi scritti dai medici per 60 ricoveri in medicina interna.
I casi riguardavano ricoveri da sette a 21 giorni, per i quali i medici dovevano sintetizzare una maggiore quantità di documentazione per il passaggio dall’assistenza ospedaliera a quella ambulatoriale. I valutatori hanno assegnato ai riepiloghi dell’IA punteggi più alti per qualità, leggibilità, aderenza ai fatti e completezza. I risultati misurano però le valutazioni dei medici sui documenti, non se l’IA abbia migliorato gli esiti per i pazienti o ridotto il tempo di lavoro dei medici.
I ricoveri più lunghi mettono sotto esame il passaggio di consegne
I riepiloghi di dimissione informano i pazienti e i medici che li prenderanno in cura su quanto accaduto in ospedale, compresi i trattamenti, le modifiche ai farmaci, le questioni irrisolte e le necessità di follow-up. Informazioni mancanti o poco chiare possono complicare questo passaggio. Lo studio si è concentrato sui ricoveri più lunghi e complessi, anziché considerare la documentazione di ogni dimissione ospedaliera come un compito equivalente.
I ricercatori hanno confrontato ogni riepilogo generato dall’IA con la versione scritta da una persona per lo stesso caso, attraverso valutazioni abbinate di medici ospedalieri e medici di medicina generale. Questo approccio ha permesso ai valutatori di esaminare i documenti riferendosi allo stesso ricovero. I medici di medicina generale hanno inoltre valutato se i riepiloghi dell’IA li aiutassero a comprendere l’assistenza ospedaliera, a spiegarla ai pazienti o a chi li assiste e a pianificare il follow-up.
I valutatori hanno preferito la bozza dell’IA, ma restavano errori
Il dato del 95% di preferenze è notevole, ma non significa che il modello abbia prodotto documenti privi di errori. I valutatori hanno annotato meno inesattezze fattuali o omissioni clinicamente rilevanti nei riepiloghi generati dall’IA, una differenza dovuta soprattutto al minor numero di omissioni. Lo studio non ha però rilevato differenze significative tra i due tipi di riepilogo nelle stime dei valutatori sulla potenziale gravità degli errori o sulla probabilità che causassero danni.
«In questa valutazione retrospettiva da parte di medici, i riepiloghi generati da LLM per ricoveri più lunghi e complessi hanno ricevuto valutazioni più favorevoli e presentavano meno omissioni annotate rispetto ai riepiloghi scritti da persone, senza differenze significative nella stima del potenziale o della probabilità di danno».
Tyler Osborne et al., “Clinician-centered evaluation of large language model-generated discharge summaries for longer hospitalizations”
Lo studio riferisce anche che i medici di medicina generale che hanno svolto la valutazione hanno giudicato più favorevolmente i riepiloghi del modello per la comprensione e la comunicazione dell’assistenza ospedaliera e per il follow-up. Gli autori dello studio hanno esaminato 31 reperti incidentali individuati dal modello nei referti radiologici: i valutatori hanno giudicato il 93,5% fattualmente corretto e l’87,1% appropriato da includere. Queste percentuali riguardano il gruppo selezionato di reperti, non ogni affermazione contenuta nei riepiloghi di dimissione.
Un test retrospettivo in un solo ospedale non è una sperimentazione sul campo
La valutazione ha utilizzato dati relativi a ricoveri passati presso lo Stony Brook University Hospital. Non può quindi stabilire come funzioni l’approccio in modo prospettico in altri ospedali, gruppi di pazienti o flussi di lavoro clinici. Né il tempo di generazione dei riepiloghi riportato dimostra un risparmio di tempo effettivo per i medici; Stony Brook ha dichiarato che ulteriori studi valuteranno il tempo risparmiato e come lo strumento si inserisca nella pratica clinica.
L’annuncio di Stony Brook sottolinea che sia i riepiloghi scritti da persone sia quelli generati dall’IA contenevano errori e afferma che i medici devono esaminare e verificare ogni bozza generata dal modello prima che venga inserita nella cartella clinica di un paziente. Il risultato sulla preferenza sostiene la sperimentazione dell’IA come ausilio alla stesura per le dimissioni complesse, non il trasferimento della responsabilità del documento clinico finale.