The Pulse
Multiverse Computing sviluppa un sistema di verifica delle fonti per gli agenti MCP
Multiverse Computing ha presentato ProvenanceGuard, un verificatore che controlla, dopo la generazione della risposta, se le affermazioni di un agente di IA sono supportate dalle fonti che cita. In un test medico su dati tenuti da parte, il
AI.info Team · Scritto con l’IA ·
«Questi risultati mostrano che l’attribuzione delle fonti è una dimensione indipendente della verifica della correttezza fattuale negli agenti basati su MCP.»
Gli autori di «ProvenanceGuard: Source-Aware Factuality Verification for MCP-Based LLM Agents»
Il 29 settembre Multiverse Computing ha pubblicato i dettagli di ProvenanceGuard, descrivendo un controllo per un errore che i normali sistemi di verifica dei fatti possono non rilevare: un agente di IA può riportare un fatto vero ma attribuirlo alla fonte sbagliata. Il sistema interviene dopo che l’agente ha risposto e riconduce le affermazioni ai singoli risultati degli strumenti utilizzati tramite il Model Context Protocol, o MCP. Può quindi consentire o bloccare la risposta, formulando un giudizio sulla fonte per ogni affermazione.
La distinzione conta quando un agente attinge a documenti che non dovrebbero essere considerati intercambiabili. Per esempio, una politica sui rimborsi potrebbe stabilire il periodo entro il quale un cliente può ottenere un rimborso, mentre i dati di un account no. Un sistema che accorpa i due documenti potrebbe considerare l’affermazione supportata anche se la risposta attribuisce erroneamente la politica ai dati dell’account. Il post dell’azienda definisce questo errore una confusione tra fonti diverse.
Collegare ogni affermazione al risultato dello strumento da cui proviene
ProvenanceGuard legge una traccia MCP acquisita, mantenendo distinti i risultati degli strumenti e i relativi identificativi di fonte invece di fonderli in un unico insieme di prove. Suddivide la risposta dell’agente in affermazioni, associa ciascuna alle prove pertinenti, verifica se quella fonte la supporta e confronta le prove con la fonte citata o implicita nella risposta. La decisione finale combina questi controlli in giudizi sulle singole affermazioni e in un esito che consente o blocca l’intera risposta.
La configurazione testata utilizzava un modello linguistico locale per suddividere le risposte in affermazioni, MiniLM per trovare le fonti pertinenti e un modello DeBERTa per verificare se una fonte supportasse un’affermazione. Il verificatore controlla anche dettagli letterali come numeri, date e identificativi, che può respingere se la fonte citata non li contiene. Multiverse precisa che questi modelli descrivono la configurazione sperimentale, non sono un requisito fisso del metodo; una configurazione diversa richiederebbe test e calibrazione propri.
Segnalate per il blocco 138 affermazioni su 139
Il team ha valutato il metodo su tracce di agenti in ambito medico che coinvolgevano cartelle cliniche, articoli di ricerca e altri strumenti. Partendo da 281 tracce, esperti umani hanno valutato 361 affermazioni contenute in 40 risposte tenute da parte. Secondo gli esperti, 139 affermazioni avrebbero dovuto essere bloccate; ProvenanceGuard ne ha individuate 138 e ne ha lasciata passare una. Ha inoltre bloccato 67 affermazioni che gli esperti consideravano supportate, un compromesso che gli autori attribuiscono alla prudente politica decisionale adottata nel test.
Sulle stesse affermazioni tenute da parte, ProvenanceGuard ha ottenuto un punteggio F1 di 0,802 per il blocco. Lo studio lo confronta con 0,783 per MiniCheck, 0,758 per RAGAS Faithfulness, 0,662 per AlignScore e 0,436 per SummaC-ZS. Questi sistemi di confronto non fornivano un identificativo che collegasse ogni affermazione alla sua fonte, perciò il test valuta sia la capacità di bloccare le affermazioni sia quella del verificatore di conservare un collegamento verificabile tra un’affermazione e le prove a suo sostegno.
Un test più difficile ha messo in luce un limite: ProvenanceGuard ha raggiunto un punteggio F1 di 0,846 nel decidere quali affermazioni bloccare, ma ha individuato esattamente la fonte corretta nel 50,3% dei casi in cui diverse fonti apparivano simili. In un test controllato separato, ha individuato tutti i 50 casi in cui i ricercatori avevano cambiato la fonte citata lasciando intatte le prove a sostegno. Rilevare un’attribuzione chiaramente errata si è quindi rivelato più facile che individuare con costanza la fonte giusta tra alternative molto simili.
La correzione spesso si riduce a una risposta di ripiego
Il sistema può sottoporre le risposte bloccate a una fase di correzione basata sulla revisione della risposta mediante recupero di informazioni, per poi controllare nuovamente il risultato. Nella prova sulle tracce complete, ha risolto tutti i 173 casi di risposta bloccata, ma in 144 casi il risultato è stato un testo di ripiego anziché una riscrittura sostanziale. La risposta di ripiego evita di presentare un’affermazione che il sistema non riesce a verificare, ma significa anche che «risolto» non indica necessariamente che l’agente abbia prodotto una risposta corretta e utile.
Multiverse ha segnalato un tempo aggiuntivo di circa mezzo secondo per risposta nella sua configurazione locale. L’approccio attento alle fonti compare anche in una fase facoltativa di verifica delle prove a sostegno, integrata nell’agente finanziario NVFlow di NVIDIA: questa fase confronta le risposte complete con estratti recuperati dai documenti depositati presso la SEC. L’ambito dichiarato è più ristretto rispetto alla validazione di interi documenti depositati o alla dimostrazione di una protezione generale contro le allucinazioni; il sistema controlla le prove conservate nella traccia dell’agente.
ProvenanceGuard affronta una debolezza specifica degli agenti che usano più strumenti, non la correttezza fattuale in ogni sua accezione. I risultati dei test mostrano il costo di un filtro prudente — affermazioni supportate dalle fonti possono essere trattenute per la revisione — e la difficoltà di distinguere fonti quasi identiche. Una traccia utile per la verifica dipende innanzitutto dalla conservazione dei documenti di origine: senza i risultati degli strumenti e i relativi identificativi, il verificatore non ha alcuna provenienza da controllare.