Confidenza derivata dalle traiettorie per agenti text-to-SQL clinici affidabili e attenti alle risorse

Abstract degli autori

Gli agenti basati su LLM per applicazioni cliniche text-to-SQL ragionano autonomamente in più passaggi, ma non sono in grado di valutare se ci si possa fidare del loro ragionamento o dei loro risultati. In applicazioni ad alto impatto come l’assistenza sanitaria, questo rappresenta un rischio critico, perché gli errori del sistema possono avere conseguenze costose. Questi problemi di affidabilità comportano anche uno spreco di risorse: una traiettoria di ragionamento errata consuma risorse computazionali per produrre risultati che devono essere scartati. Presentiamo Sentinel, un livello di confidenza basato su un classificatore e derivato dalle traiettorie, che analizza il ragionamento, il codice e i risultati del database di un agente per decidere in tre momenti se fermarsi: rifiutare le domande a cui non è possibile rispondere prima che l’agente entri in funzione, interrompere a metà esecuzione le traiettorie destinate a fallire e trattenere le risposte inaffidabili al momento della consegna. Qui, utilizzando la regola di Chow, ottimizziamo le decisioni in base al Reliability Score del task condiviso EHRSQL, che penalizza le risposte errate in funzione di una ponderazione dell’utilità, e rileviamo che sul benchmark EHRSQL Sentinel porta questo punteggio da +0,08 a +0,24 quando agli errori è assegnato un basso peso in termini di utilità, ben al di sopra del +0,03 ottenuto rifiutando ogni domanda; l’accuratezza delle risposte fornite sale dal 54% al 69%, mentre la copertura scende dall’84% al 55%. Quando la posta in gioco è più alta, gli agenti che testiamo raramente forniscono risposte abbastanza affidabili da poter essere consegnate e Sentinel lo rileva autonomamente, astenendosi e ottenendo lo stesso +0,03, mentre l’agente non monitorato totalizza -3,02. Le stesse decisioni di arresto riducono il calcolo: quando la posta in gioco è bassa e il sistema continua a rispondere, Sentinel elimina il 13-28% dei passaggi dell’agente, con un costo minimo o nullo in termini di affidabilità.