Self-Credit: attribuzione del credito nell’RL agentico su orizzonti lunghi tramite riscalatura all’interno del gruppo

Abstract degli autori

Gli agenti basati su LLM vengono comunemente addestrati con RLVR, ma la natura sparsa delle ricompense tipiche di RLVR rende difficile l’attribuzione del credito, soprattutto nei compiti su orizzonti lunghi. Proponiamo Self-Credit, un metodo di RL agentico end-to-end che ricava segnali di supervisione densi da ricompense sparse basate sull’esito, usando un’attribuzione del credito generata dal modello stesso e riscalata all’interno del gruppo. Self-Credit si basa sull’RL a gruppi e comprende tre componenti. Primo, durante i rollout, il modello della policy genera riassunti con riferimenti ai turni precedenti che contengono elementi di prova cruciali: questi riferimenti costituiscono il credito attribuito dal modello stesso. Secondo, perfezioniamo tale attribuzione mediante una riscalatura all’interno del gruppo, che confronta le azioni citate nei rollout riusciti e in quelli falliti per lo stesso prompt. Questo approccio sfrutta le concordanze e le discordanze a livello di gruppo per eliminare il credito non meritato e dare ulteriore peso a quello attribuito alle azioni cruciali. Terzo, una ripesatura dei vantaggi usa i pesi del credito riscalati per aggiornare i vantaggi dei turni citati. Su BrowseComp-Plus, Self-Credit migliora i modelli di base rispettivamente di 37,0 e 36,2 punti per Qwen3 8B e 32B, e supera le baseline più forti dell’RL agentico rispettivamente di 8,5 e 5,6 punti. Self-Credit supera inoltre le baseline più forti di 4,9 punti su GAIA e di 4,7 punti su xBench-DeepSearch. Le analisi mostrano che il credito attribuito dal modello stesso fornisce segnali utili per individuare le azioni cruciali e che la riscalatura all’interno del gruppo, soprattutto per i rollout falliti, è importante per modelli di diverse dimensioni.