ALLMTS: sistema automatizzato di triage medico basato su LLM

Abstract degli autori

Il triage telefonico è un’attività critica per la sicurezza: sulla base di una breve nota iniziale, un infermiere deve decidere se chi chiama ha bisogno di un’ambulanza, di recarsi al pronto soccorso, di un appuntamento o di curarsi a casa. Se interrogati direttamente, i modelli linguistici di grandi dimensioni (LLM) sono inaffidabili: assegnano ai casi ordinari un livello di urgenza troppo alto e non sanno giustificare le proprie raccomandazioni rispetto a uno standard clinico verificabile. Presentiamo Automated LLM-based Medical Triage System (ALLMTS), che fonda ogni indicazione su linee guida per la telemedicina curate commercialmente, le stesse usate dagli infermieri. Anziché chiedere a un LLM di effettuare il triage, ALLMTS gli fa applicare le linee guida: seleziona quella appropriata e valuta le relative domande di accertamento per il triage. L’indicazione deriva in modo deterministico dalla prima risposta positiva, seguendo la stessa regola di consultazione adottata da un infermiere. Valutiamo ALLMTS su 566 scenari sintetici convalidati da esperti, che coprono 14 esiti di triage e sono progettati per mettere alla prova specifiche domande delle linee guida. ALLMTS raggiunge un’accuratezza di 0,95, contro 0,47 di un modello di riferimento basato su un LLM interrogato direttamente. Su una selezione di 50 scenari, pubblicata come benchmark aperto, ALLMTS raggiunge un’accuratezza di 0,98, paragonabile al tasso di indicazioni corrette di 0,944 registrato sugli stessi scenari da un gruppo di cinque infermieri esperti. Un dato cruciale è che, su questa selezione, i modelli di riferimento presentano tassi di sovratriage fino a 0,50 (0,44 sull’intero dataset), mentre ALLMTS riduce il tasso di sovratriage a un massimo di 0,02, mantenendo basso quello di sottotriage. Questi risultati sostengono l’impiego congiunto della comprensione del linguaggio degli LLM e di linee guida cliniche eseguibili per effettuare il triage a partire dalle note iniziali.