Accurati ma non umili: valutare l’umiltà epistemica degli agenti LLM di fronte a conflitti tra conoscenze

Abstract degli autori

Quando le prove recuperate contraddicono le convinzioni pregresse di un agente, questo rivede la propria risposta, riconosce l’incertezza o insiste su una conclusione errata? Le valutazioni esistenti dei sistemi basati su agenti si concentrano soprattutto sul successo del compito e offrono indicazioni limitate su come gli agenti gestiscano questi conflitti. Proponiamo di valutare gli agenti in base all’umiltà epistemica (EH): la loro disponibilità a riconoscere l’incertezza, ad agire di conseguenza e a comunicarla durante l’esecuzione di un compito. Misuriamo l’EH attraverso tre dimensioni comportamentali osservabili nell’intera sequenza di esecuzione: Identify, Solve ed Escalate (ISE). Esaminiamo i conflitti tra conoscenze, cioè le situazioni in cui la conoscenza parametrica del modello linguistico su cui si basa l’agente contraddice le prove che incontra, oppure due fonti contestuali sono in disaccordo. Valutiamo due scenari: (1) conflitti controllati e (2) conflitti che emergono spontaneamente durante l’esecuzione degli agenti in più passaggi, ciascuno affiancato da casi di controllo comparabili senza conflitto. Valutando quattro agenti, riscontriamo che una maggiore accuratezza nel compito non corrisponde necessariamente a una maggiore umiltà epistemica: alcune configurazioni molto accurate riconoscono i conflitti durante l’esecuzione, ma nelle risposte finali errate non comunicano le incertezze rimaste irrisolte. L’analisi dell’intera sequenza di esecuzione rivela inoltre che gli agenti rilevano spesso i conflitti nei primi passaggi, ma non riescono a tenerne conto o a risolverli in quelli successivi. Infine, mostriamo che gli interventi a livello di modello possono migliorare l’EH, spesso però a scapito dell’accuratezza nel compito. Questo suggerisce che l’umiltà epistemica emerga dall’interazione tra il modello su cui si basa l’agente, l’infrastruttura che lo gestisce e l’ambiente di valutazione.