Dove fallisce la valutazione a risposta aperta basata sul recupero? Induzione automatica di una tassonomia dalla verifica della fattualità di risposte mediche estese

Abstract degli autori

La valutazione della fattualità basata sul recupero, in cui le affermazioni generate da LLM vengono verificate sulla base di evidenze tratte da corpora medici autorevoli, è diventata il paradigma dominante per rilevare le allucinazioni su larga scala in contesti clinici ad alto rischio. Nonostante l’urgente necessità di una verifica affidabile e trasparente dei fatti in ambito medico, la maggior parte dei sistemi misura le prestazioni con metriche aggregate come F1, che nascondono dove e perché si verificano gli errori. Le procedure diagnostiche esistenti per i sistemi RAG richiedono risposte di riferimento o evidenze di riferimento annotate, che in questo contesto non sono disponibili. Presentiamo due tassonomie esaustive, basate su uno studio di caso condotto sul dataset a risposta aperta MedExpert e su 3 dataset a risposta chiusa, che scompongono i fallimenti in errori nella fase di recupero, secondo cinque dimensioni della qualità, ed errori nel ragionamento del verificatore, articolati in sei passaggi consecutivi. Adattiamo una pipeline di induzione automatica di pattern che utilizza LLM-as-Judge per etichettare la qualità delle evidenze e classificare su larga scala gli errori nel ragionamento del verificatore; sottoponiamo poi i nostri risultati a prove di robustezza con 4 metodi di recupero e 6 modelli di verifica di frontiera. La nostra analisi rivela che aumentare le dimensioni dei modelli, dedicare maggiori risorse al ragionamento, estendere la ricerca a fonti web autorevoli e applicare il fine-tuning in ambito medico non risolve queste modalità di errore. Ciò dimostra che rappresentano limiti fondamentali del paradigma «recupera e poi verifica» in contesti medici a risposta aperta, anziché conseguenze dell’impiego di sistemi obsoleti. Rendiamo disponibili codice e dati all’indirizzo https://anonymous.4open.science/r/Medical_RAG_eval-4AB5 per consentire la piena riproducibilità dei nostri risultati.