I turni contano: far progredire l’apprendimento per rinforzo per i video in streaming tramite l’attribuzione del credito a livello di turno

Abstract degli autori

La comprensione dei video in streaming richiede che i modelli decidano ripetutamente se rispondere o continuare a osservare. Di recente, l’ottimizzazione delle politiche con confronto relativo tra gruppi (GRPO) è stata applicata a questo contesto; gli approcci esistenti si concentrano sulla progettazione della ricompensa, mantenendo però un unico vantaggio a livello di traiettoria per tutti i turni. Questa attribuzione condivisa del credito può rafforzare risposte ridondanti dopo successi precedenti e scoraggiare utili risposte successive dopo insuccessi precedenti. Proponiamo TurnWise, un framework GRPO a livello di turno che allinea l’apprendimento alle singole decisioni prese durante lo streaming. TurnWise affronta la discrepanza tra il feedback a livello di traiettoria e l’interazione a livello di turno, favorendo risposte informative e riducendo la ridondanza. In particolare, l’attribuzione del credito a livello di turno usa la valutazione dei prefissi completati con il silenzio per calcolare vantaggi relativi al gruppo a partire dal ritorno rimanente di ciascuna decisione, separandone il segnale di apprendimento dalle ricompense precedenti. L’ottimizzazione della politica con media sui turni calcola la media delle perdite dei token all’interno di ciascun turno e poi tra i turni, attribuendo lo stesso peso alle decisioni di risposta e di attesa, indipendentemente dalla lunghezza dell’output. Queste due soluzioni complementari migliorano l’apprendimento della politica per lo streaming senza ricorrere a un critico appreso o a rollout aggiuntivi. Esperimenti su vasta scala mostrano che il nostro metodo supera i precedenti approcci di apprendimento per rinforzo per la comprensione dei video in streaming.