Quando l’assegnazione granulare del credito aiuta e quando danneggia: apprendimento per rinforzo agentico multimodale attraverso il montaggio video

Abstract degli autori

L’apprendimento per rinforzo (RL) ha mostrato potenzialità per addestrare agenti multimodali a ragionare e usare strumenti. Tuttavia, non è ancora chiaro quando un’assegnazione granulare del credito migliori l’apprendimento e quando non riesca a migliorare le prestazioni nei compiti. Il montaggio video offre un banco di prova utile per questa domanda, combinando percezione multimodale, pianificazione su orizzonti temporali lunghi e uso di strumenti con un feedback ritardato sugli esiti. Creiamo quattro tipi di compiti di montaggio di trailer cinematografici — selezione dei contenuti, sequenziamento narrativo, montaggio preliminare e montaggio definitivo — che rispecchiano i flussi di lavoro del montaggio nel mondo reale e coprono diversi livelli di complessità dei compiti e di orizzonte di interazione. Le ricompense di processo decrescenti offrono il vantaggio maggiore nel montaggio definitivo, con un guadagno relativo del 45,4% rispetto a GRPO basato solo sull’esito, nei compiti che con questa stessa baseline richiedono in media più di 60 turni. Nei tre tipi di compito con orizzonte più breve, che con la medesima baseline richiedono in media 30-40 turni, GRPO basato solo sull’esito rimane competitivo e le ricompense di processo decrescenti producono un guadagno relativo al massimo del 10,4%. Inizialmente, le ricompense di processo generate da un valutatore LLM migliorano l’uso degli strumenti e incoraggiano l’ispezione visiva. Con il progredire dell’addestramento, tuttavia, GRPO+PRM con un peso fisso per la ricompensa di processo mostra sempre più spesso ragionamenti eccessivi e chiamate agli strumenti ridondanti: le ricompense di processo continuano ad aumentare mentre diminuiscono i tassi di completamento dei compiti e i punteggi degli esiti. Ridurre gradualmente a zero il peso della ricompensa di processo attenua questo comportamento di reward hacking, preservando i vantaggi iniziali. Nonostante la supervisione densa a livello di token, l’autodistillazione on-policy (OPSD) produce miglioramenti modesti o un peggioramento sostanziale, ed è molto sensibile alla scelta delle informazioni privilegiate. La nostra analisi evidenzia differenze nel disaccordo tra insegnante e studente e nelle magnitudini dei gradienti, e suggerisce una possibile diluizione dei segnali informativi lungo traiettorie lunghe.