The Pulse
In uno studio, ChatGPT-5 ha rilevato il 51% delle fratture del radio distale
In uno studio sulle radiografie del polso, ChatGPT-5 non ha rilevato 83 delle 170 fratture del radio distale confermate quando gli è stata posta un’unica domanda a cui rispondere sì o no. I risultati riguardano una sola versione del modello
AI.info Team · Scritto con l’IA · verificato ·
In uno studio sulle radiografie del polso, ChatGPT-5 ha individuato soltanto il 51,2% delle fratture del radio distale, non rilevando 83 delle 170 fratture confermate nell’analisi principale. I ricercatori hanno sottoposto al modello un’unica domanda — «C’è una frattura in questa radiografia? Rispondi sì o no» — e hanno pubblicato i risultati il 26 ottobre su Emergency Radiology. I risultati riguardano un caso d’uso circoscritto: un modello generalista, un solo prompt e immagini anteroposteriori del radio distale, l’estremità dell’osso dell’avambraccio più vicina al polso.
Una sola domanda, 396 radiografie
Il gruppo ha sottoposto al modello 396 radiografie tratte dal dataset MURA di Stanford, ciascuna in una sessione di chat temporanea distinta. Due revisori ortopedici — uno specializzando senior e un chirurgo con certificazione specialistica — hanno concordato sulla presenza o meno di una frattura in ciascuna immagine; le etichette originali di MURA sono state usate per selezionare le immagini candidate, non come standard diagnostico definitivo dello studio. I ricercatori hanno escluso le immagini pediatriche, quelle con dispositivi impiantati e i casi che i revisori non riuscivano a classificare con sicurezza.
Ventisei immagini, pari al 6,6%, hanno prodotto una risposta con riserve o comunque non binaria e sono state escluse dall’analisi principale. Sono rimaste 370 immagini: 170 con fratture e 200 senza. Su queste, l’accuratezza complessiva di ChatGPT-5 è stata del 61,6% e il modello ha segnalato erroneamente una frattura in 59 immagini che ne erano prive.
Le fratture non rilevate contano più del punteggio
Le fratture non rilevate sono state più numerose dei falsi allarmi, una differenza che gli autori hanno giudicato statisticamente significativa. In una proiezione separata, basata su un gruppo ipotetico di 1.000 radiografie con un tasso di fratture del 20%, il modello non rileverebbe 98 delle 200 fratture e produrrebbe 236 falsi allarmi. Questa proiezione è un calcolo basato sulla sensibilità e sulla specificità misurate nello studio, non un risultato osservato in una sperimentazione clinica.
Gli autori hanno anche verificato come le risposte non binarie escluse potessero influire sul risultato. Considerarle ciascuna un errore, oppure trattarle tutte come «no», portava la sensibilità al 47,3%; trattarle tutte come «sì», l’ipotesi più favorevole al modello, la faceva salire al 54,9%. La stima principale della sensibilità ottenuta nello studio, quindi, non dipendeva da un particolare modo di gestire quelle risposte.
Non è un confronto diretto con i software per rilevare le fratture
L’articolo confronta il risultato di ChatGPT-5 con le prestazioni pubblicate per sistemi dedicati al rilevamento delle fratture, ma i ricercatori non hanno testato quei sistemi sulle stesse immagini. Definiscono il confronto indiretto perché gli studi possono differire per gruppi di pazienti, dataset, standard di riferimento e protocolli di acquisizione delle immagini. Il punteggio ottenuto da un chatbot generalista in questo esperimento non va considerato una misura delle prestazioni di tutta l’IA medica.
La valutazione ha inoltre riguardato una sola versione del modello, una sola regione anatomica e una sola proiezione per ciascuna radiografia. Le immagini provenivano da un dataset selezionato anziché da una serie consecutiva di pazienti, e il modello è stato testato senza informazioni cliniche aggiuntive, esempi o addestramento specifico per il compito. Nessuna decisione clinica si è basata sulle sue risposte.
Gli autori precisano i limiti dei risultati
«I risultati sono specifici di questa versione del modello, di questo prompt, di questa regione anatomica e di questo dataset; limitano le affermazioni sull’uso autonomo con un prompt minimo, non quelle sul più ampio potenziale dei flussi di lavoro radiologici basati su LLM e progettati appositamente».
scrivono gli autori dello studio Bana Awad, Yaniv Keren e Dror Ronel
Lo studio non stabilisce quali prestazioni avrebbe ChatGPT-5 con un prompt diverso o in un flusso di lavoro progettato da clinici. Mostra però che, in questo test, una risposta sì o no del modello non era sufficientemente affidabile per escludere una frattura del radio distale: nell’analisi principale non ha rilevato quasi la metà delle fratture.