Decidi, chiedi o rinvia: LLM clinici con evidenze incomplete

Abstract degli autori

Gli LLM clinici devono decidere non solo quale diagnosi formulare, ma anche se le evidenze disponibili sono sufficienti per prendere decisioni in autonomia. Le formulazioni binarie DECIDE/ABSTAIN accorpano stati distinti di non decisione e non valutano esplicitamente l’acquisizione di informazioni. Introduciamo una formulazione DECIDE/ASK/DEFER insieme a un protocollo in cieco che impedisce ai modelli di usare i metadati sulla completezza delle evidenze. Valutiamo Qwen, Gemini e GPT su 200 stati clinici delle evidenze abbinati, costruiti a partire da DDXPlus. A parità di evidenze, i modelli mostrano differenze sostanziali nella scelta dell’azione, con disaccordo in 137 stati su 200. Per Qwen, un’analisi abbinata che confronta informazioni mirate e casuali mostra che le informazioni selezionate modificano la probabilità di una successiva decisione autonoma più chiaramente di quanto incidano sulla correttezza diagnostica. Il confronto abbinato con la formulazione di base DECIDE/ABSTAIN rivela inoltre un compromesso tra sicurezza e autonomia: la policy a tre azioni evita alcune decisioni autonome errate, ma porta anche a rinunciare ad alcune decisioni autonome corrette. Questi risultati mostrano che distinguere l’acquisizione di informazioni dal rinvio al clinico fa emergere comportamenti nascosti dall’astensione binaria, senza produrre una policy decisionale uniformemente migliore.