Ci serve un LLM per sapere perché le fonti sono in conflitto? Modelli decisionali per classificare i conflitti di conoscenza nei sistemi RAG

Abstract degli autori

Quando le fonti recuperate per una query sono in disaccordo, la risposta appropriata dipende dal motivo del disaccordo: una domanda con più risposte valide, un argomento controverso, informazioni obsolete e una fonte falsa richiedono comportamenti diversi. Cattan et al. (2025) hanno mostrato che comunicare a un generatore il tipo di conflitto migliora le sue risposte di circa 24 punti, ma prevedere il tipo è difficile persino per gli LLM di frontiera. Studiamo se i modelli decisionali tipizzati, che restituiscono probabilità associate a opzioni fisse in un’unica passata forward invece di generare testo, possano classificare i conflitti in modo rapido ed economico. Utilizzando il benchmark CONFLICTS e riproducendo alla lettera il prompt del paper originale, valutiamo tutti gli 11 modelli decisionali offerti da un unico gateway commerciale di inferenza, provenienti da 7 fornitori, confrontandoli con i modelli Gemini su input identici. Interrogati direttamente, i modelli decisionali raggiungono un’accuratezza del 50,0--67,0%; 10 degli 11 eguagliano o superano Gemini 2.5 Flash, il modello utilizzato nel paper (61,3%), con costi fatturati inferiori di 4--39 volte (2 erano gratuiti) e una latenza inferiore di 2,6--6,0 volte. L’attuale Gemini 3.8 Flash (70,0%) è significativamente più accurato di 8 di questi modelli, ma affidare a Gemini il quarto di query per cui ciascun modello decisionale è meno sicuro produce una cascata statisticamente alla pari con Gemini per 8 degli 11 modelli, a un costo pari al 25--37% del suo. Nel complesso, le risposte generate usando i tipi individuati da 10 degli 11 modelli seguono il comportamento atteso con la stessa frequenza di quelle generate usando i tipi individuati dall’LLM. Scomporre la tassonomia in domande con risposta sì o no riduce l’accuratezza di ogni modello, e una correzione adattata a un modello non si trasferisce agli altri. Le analisi diagnostiche definite in anticipo mostrano che le date non hanno un ruolo misurabile e che la sensibilità all’ordine delle fonti varia molto da un modello all’altro. I modelli decisionali rilevano una fonte falsa inserita deliberatamente con minore affidabilità dell’LLM quando devono fornire etichette discrete, ma le loro probabilità distinguono comunque le fonti con una falsità inserita da quelle pulite. Rendiamo disponibili codice, prompt e tutti gli output dei modelli all’indirizzo https://github.com/Parv17k/decision-models-conflict-typing.