KnowGPO: ottimizzazione delle policy per agenti di ricerca basata su raggruppamenti per conoscenza

Abstract degli autori

Gli agenti di ricerca approfondita risolvono compiti che richiedono molte conoscenze attraverso interazioni a più turni e su orizzonti lunghi, nelle quali attribuire il merito alle singole decisioni di ricerca è particolarmente difficile. L’apprendimento per rinforzo basato sull’esito assegna un’unica ricompensa finale all’intera traiettoria. I metodi recenti di supervisione del processo puntano ad attribuire il merito con maggiore granularità, ma in genere lo ancorano agli stati superficiali della traiettoria oppure a segnali interni al modello. Entrambi diventano inaffidabili nella ricerca approfondita, dove le osservazioni sono eterogenee e i contesti recuperati sono lunghi e ricchi di rumore. Proponiamo KnowGPO, un framework di apprendimento per rinforzo che allinea le traiettorie in base alle conoscenze rilevanti per il compito che hanno acquisito, anziché alle loro osservazioni superficiali. Per ogni query, KnowGPO scompone le informazioni necessarie per ricavare la risposta in condizioni di conoscenza atomiche e rappresenta lo stato di una traiettoria a ogni passaggio mediante il sottoinsieme di condizioni che ha soddisfatto. Le traiettorie che condividono lo stesso stato di conoscenza vengono raggruppate per essere confrontate all’interno del gruppo, mentre l’incremento di conoscenza tra passaggi consecutivi funge da ricompensa di processo ancorata all’ambiente. Gli esperimenti su Xbench, BrowseComp-ZH e GAIA mostrano che KnowGPO supera sistematicamente le baseline basate solo sull’esito (GRPO) e quelle basate sulla supervisione del processo (GiGPO, IGPO) di 3,8–4,2 punti, con il nostro modello 8B che eguaglia o supera la maggior parte dei sistemi open source 32B.