Self-Assessment Reinforcement Learning per la consapevolezza dello stato della ricerca nei grandi modelli linguistici potenziati dal recupero di informazioni

Abstract degli autori

I recenti progressi degli agenti di ricerca hanno consentito ai grandi modelli linguistici di affrontare compiti complessi recuperando e sintetizzando informazioni esterne. Tuttavia, gli agenti di ricerca esistenti spesso non sono consapevoli dello stato della ricerca, ovvero non sono in grado di riconoscere quali informazioni siano state ottenute e quali manchino ancora. Questo porta a ragionamenti allucinati e alla conclusione prematura della ricerca. Per superare questo limite, proponiamo Self-Assessment Reinforcement Learning (SARL), un framework di apprendimento per rinforzo in cui i modelli imparano durante l’addestramento a riconoscere il proprio stato di ricerca e a migliorare di conseguenza il proprio comportamento, senza richiedere ulteriori valutazioni in fase di test. SARL raggiunge questo risultato attraverso un sistema a doppia ricompensa che coglie l’effetto correttivo di ogni valutazione, penalizzando al contempo un ricorso eccessivo a essa e favorendo così traiettorie di ricerca efficaci ed efficienti. In questa configurazione, SARL ottiene un miglioramento relativo del 24,3% rispetto alla baseline più solida, con incrementi medi del 35,9% nei benchmark di ragionamento multi-hop e del 27,9% in quelli di ricerca approfondita, rispetto alle baseline più solide per ciascun benchmark. SARL supera inoltre i metodi basati su supervisione ausiliaria o coordinamento tra più agenti, pur operando come framework di apprendimento per rinforzo autonomo, senza strutture di supporto in fase di inferenza. Oltre alle prestazioni finali, SARL mantiene la stabilità dell’addestramento con orizzonti di ricerca estesi, una condizione in cui i metodi esistenti peggiorano sistematicamente, consentendo miglioramenti duraturi al crescere della complessità dei compiti.