UMAS: quantificazione dell’incertezza a livello di sistema per sistemi LLM multi-agente

Abstract degli autori

I sistemi multi-agente (MAS) sono un paradigma promettente per migliorare le capacità di ragionamento dei modelli linguistici di grandi dimensioni, ma restano soggetti ad allucinazioni e risultati errati. La quantificazione dell’incertezza (UQ) è fondamentale per valutare l’affidabilità dei sistemi, ma i metodi esistenti sono perlopiù progettati per contesti con un singolo agente; resta ancora poco esplorato come sfruttare la struttura dei MAS per la UQ mantenendo invariato il costo dell’inferenza. Proponiamo UMAS, un framework di UQ a livello di sistema, privo di parametri e a costo invariato, che stima l’attendibilità dell’influenza tra agenti sulla base della confidenza intrinseca di ciascuna generazione. UMAS usa questi segnali di attendibilità per modulare il modo in cui l’incertezza viene aggiornata in ciascun nodo, quindi aggrega l’incertezza a livello di nodo in una stima a livello di sistema. Valutazioni approfondite su Debate e DyLAN, condotte su benchmark diversi, mostrano che UMAS supera con regolarità i metodi di riferimento all’avanguardia, con un vantaggio medio di 10,54 punti AUROC. Oltre a stimare l’incertezza, UMAS consente di rilevare le allucinazioni e selezionare le risposte tenendo conto dell’incertezza, migliorando fino a 12,6 punti l’accuratezza dei MAS in compiti specifici e aumentando al contempo l’affidabilità. Il codice è disponibile all’indirizzo https://github.com/Dby52-04/UMAS.