DRACO: attribuzione granulare del merito con rubriche dinamiche per l’addestramento di agenti su orizzonti lunghi

Abstract degli autori

L’apprendimento per rinforzo da ricompense verificabili funziona bene quando un’attività dispone di un sistema di verifica programmabile, ma nella maggior parte degli ambiti in cui gli agenti operano su orizzonti lunghi un sistema del genere non esiste. Lavoriamo in un contesto in cui l’esito non è noto e non sono disponibili segnali affidabili sul successo effettivo. Le rubriche di valutazione multicriterio sono un modo diffuso per fornire una ricompensa di questo tipo: vengono valutate una volta per traiettoria, ma un unico valore numerico offre un segnale poco utile nell’arco di decine di passaggi. Proponiamo DRACO: Distributing Rubric-based Advantage for Credit Optimization. Durante l’addestramento, DRACO genera dinamicamente rubriche che seguono l’evoluzione delle capacità della policy, le valuta una volta per ogni traiettoria completata e ridistribuisce tale valutazione tra i passaggi responsabili delle rubriche annotate, così da produrre in GRPO valori di vantaggio differenziati per ciascun passaggio. La ridistribuzione avviene tramite una formula esplicita e non introduce alcun modulo di attribuzione addestrato. Su AppWorld, DRACO ottiene 15,9 punti in più rispetto al modello di base e 5,3 punti in più rispetto a GRPO addestrato con una ricompensa sparsa basata sull’esito effettivo, pur senza usare alcun verificatore. Su Tau-Bench, al di fuori del dominio di addestramento, ottiene 5,3 punti in più rispetto al modello di base anche senza un valutatore all’avanguardia, superando sia l’addestramento con ricompense basate sull’esito effettivo sia altre configurazioni di addestramento basate su rubriche. Il codice di DRACO è disponibile all’indirizzo https://github.com/IBM/draco.