PANINI-DR: ricerca approfondita controllata tramite spazi di lavoro semantici generativi

Abstract degli autori

La ricerca approfondita richiede di collegare più fasi di ricerca, ragionamento e calcolo, lasciando che i risultati intermedi orientino le indagini successive. Man mano che le indagini si ampliano, gli agenti devono mantenere traccia dello stato della ricerca tra una chiamata al modello e l’altra e verificare i risultati prima che eventuali errori si propaghino nelle fasi successive. Presentiamo PANINI-DR, un sistema multiagente che separa il coordinamento dell’indagine complessiva dalla ricerca e dalla verifica dei singoli quesiti. Uno spazio di lavoro condiviso, basato sulla rappresentazione Generative Semantic Workspace, registra i quesiti, le loro dipendenze, i risultati e le evidenze a sostegno. Gli agenti di ricerca esaminano i singoli quesiti, mentre un agente di verifica distinto controlla le risposte proposte alla luce dei quesiti e delle relative evidenze. Il riscontro della verifica orienta le indagini successive, e i risultati registrati informano l’assegnazione dei compiti seguenti. Valutiamo PANINI-DR su BrowseComp-Plus, FRAMES e MoNaCo, confrontandolo con sette sistemi all’avanguardia per la ricerca approfondita, tutti basati sullo stesso modello linguistico e su corpora fissati. PANINI-DR ottiene i migliori risultati medi sui tre benchmark. Su BrowseComp-Plus raggiunge un’accuratezza del 73,3%, superando di 16,0 punti il secondo miglior sistema. Il vantaggio è massimo nelle domande difficili, alle quali risponde correttamente in un numero quasi doppio rispetto al secondo miglior sistema. Gli studi di ablazione mostrano inoltre che la pianificazione strutturata e il mantenimento dello stato migliorano le prestazioni, così come la verifica di ciascun risultato rispetto alle evidenze citate a suo sostegno prima che venga riutilizzato. Poiché un modello può rispondere correttamente anche basandosi soltanto sulla memoria, analizziamo anche le evidenze conservate da ciascun sistema. PANINI-DR ottiene, in tutti e tre i benchmark, la massima possibilità di ricostruire le risposte a partire dalle evidenze salvate; verifiche complementari del supporto fornito dalle evidenze alle affermazioni mostrano inoltre risposte più solidamente corroborate. Tenere conto di queste evidenze modifica il confronto tra i sistemi e rafforza ulteriormente il vantaggio di PANINI-DR.