The Pulse
Stanford: gli agenti di IA medica completano meno della metà dei flussi di lavoro testati
Secondo Stanford HAI, gli agenti migliori hanno completato meno della metà dei flussi di lavoro in due benchmark di IA medica basati sull’esecuzione dei compiti. I risultati mostrano la differenza tra rispondere a domande cliniche e portare
AI.info Team · Scritto con l’IA · verificato ·
«Questi benchmark raccontano la stessa storia: i migliori agenti di IA di oggi completano meno della metà del lavoro».
Nigam Shah e Jonathan Chen, autori dell’articolo di Stanford HAI
Un’analisi pubblicata da Stanford HAI il 19 ottobre evidenzia il divario tra rispondere a una domanda medica e completare un flusso di lavoro clinico. In due benchmark basati sull’esecuzione dei compiti, gli agenti dovevano muoversi tra cartelle cliniche elettroniche, raccogliere e conservare informazioni e svolgere attività. Secondo gli autori, i sistemi migliori hanno portato a termine meno della metà dei flussi di lavoro assegnati.
Questo risultato non significa che l’IA medica risponda correttamente a meno della metà delle domande mediche. Il benchmark MedHELM di Stanford misura le risposte dei modelli a compiti clinici; PhysicianBench e HealthAdminBench verificano invece se gli agenti riescono ad agire in ambienti software simulati e a completare il lavoro dall’inizio alla fine.
PhysicianBench mette alla prova i passaggi successivi alla risposta
PhysicianBench comprende 100 compiti articolati in più passaggi, adattati da consulti reali tra medici di base e specialisti e distribuiti su 21 specialità. I compiti vengono svolti su cartelle cliniche di pazienti ricostruite sinteticamente in un ambiente di prova per cartelle cliniche elettroniche. Ogni compito richiede in media 27 chiamate a strumenti: l’agente deve recuperare informazioni da diversi incontri clinici, ragionare su di esse, compiere azioni cliniche e documentare il proprio lavoro.
Tra i 12 modelli descritti nell’articolo di Stanford, GPT-5.5 ha ottenuto il tasso più alto di completamento al primo tentativo, pari al 46%. DeepSeek V4-Pro, il miglior modello open source in quella valutazione, ha raggiunto il 19%. La ripetibilità è stata ancora più bassa: GPT-5.5 ha completato correttamente appena il 28% dei compiti in tutte e tre le esecuzioni.
Il benchmark ha inoltre messo in luce un divario tra annotare un’azione ed eseguirla. In una parte dei casi in cui l’esecuzione delle azioni è fallita, GPT-5.5 e Claude Opus 4.6 hanno registrato l’azione corretta in una nota, ma non hanno mai inserito la prescrizione corrispondente nella cartella clinica elettronica. Secondo Stanford, questi casi rappresentavano il 62% dei fallimenti nell’esecuzione delle azioni di GPT-5.5 e il 73% di quelli di Claude Opus 4.6.
Il lavoro amministrativo si inceppa nei passaggi tra sistemi
HealthAdminBench mette alla prova attività come le autorizzazioni preventive, i ricorsi e gli ordini di dispositivi medici durevoli. L’ambiente simulato comprende una cartella clinica elettronica, due portali degli assicuratori e un sistema fax, realizzati dopo oltre 100 ore di osservazione presso Stanford Health Care. Il benchmark contiene 135 compiti e 1.698 verifiche; i dati dei pazienti sono sintetici.
Claude Opus 4.6 ha completato dall’inizio alla fine il 36,3% dei flussi di lavoro testati, il tasso più alto riportato per quel benchmark. GPT-5.4 ha superato l’82,8% dei singoli sottocompiti, ma ha completato solo il 26,7% dei compiti nel loro insieme. Stanford descrive i problemi più comuni come difficoltà di coordinamento: gli agenti perdono informazioni necessarie in seguito, omettono trasferimenti di file richiesti o non tornano su un passaggio precedente.
I punteggi dei due benchmark non vanno confrontati come se provenissero da un unico test. Impiegano ambienti, insiemi di modelli, interfacce e metodi di valutazione diversi. Il risultato che hanno in comune è più circoscritto: in entrambi i contesti, i migliori agenti testati hanno lasciato incompiuta la maggior parte dei flussi di lavoro.
Perché una nota ben scritta non equivale a un compito completato
Il più ampio lavoro di Stanford su MedHELM esamina 121 compiti clinici in cinque categorie, utilizzando 37 dataset di benchmark. I risultati mostrano percentuali di vittoria dei modelli relativamente elevate nella redazione di note e nella comunicazione con i pazienti, ma più basse nel supporto alle decisioni cliniche e nelle attività amministrative. Questi dati misurano le prestazioni in confronti a coppie nei test basati sulle risposte, non la quota di lavoro clinico reale che un agente è in grado di svolgere.
I benchmark sui flussi di lavoro rendono concreta questa distinzione. Un’autorizzazione preventiva può richiedere di verificare le regole di copertura, trovare le cartelle, caricare documenti, inviare un modulo e registrare un numero di riferimento; riuscire a redigere una sola parte non completa l’intera sequenza. Gli autori sostengono che la difficoltà degli agenti nel conservare le informazioni tra un passaggio e l’altro indichi nella memoria e nella progettazione dei sistemi aree da migliorare, anziché una semplice necessità di modelli più grandi.
Per ora, i migliori risultati riportati da Stanford sono un completamento dall’inizio alla fine del 46% su PhysicianBench e del 36,3% su HealthAdminBench. Sono entrambi risultati di benchmark, non misure degli esiti per i pazienti o delle prestazioni negli ospedali in attività. Mostrano però perché una risposta corretta, da sola, non sia una buona misura del lavoro effettivamente svolto da un agente.