Sulla riparametrizzazione della funzione score

Abstract degli autori

I gradienti di policy per i modelli sequenziali autoregressivi calcolano la derivata della log-probabilità di ciascun token mantenendo fissa la storia di condizionamento. In questo modo si scartano informazioni su come le decisioni precedenti influenzino le distribuzioni condizionali successive, creando un collo di bottiglia nell’assegnazione del credito quando le ricompense sono sparse. Introduciamo i gradienti di policy History-Reparameterized (HR), che sostituiscono il prefisso congelato nella funzione score con una storia riparametrizzata o rilassata e differenziabile, consentendo ai gradienti delle log-probabilità successive di propagarsi all’indietro lungo la traiettoria generata. Il termine pathwise basato sulla storia che ne risulta è in generale distorto se aggiunto direttamente; per questo deriviamo Optimal HR (OHR), uno stimatore centrato a variabile di controllo con un coefficiente in forma chiusa che minimizza la traccia della varianza del gradiente a livello di popolazione. La riduzione della varianza dipende dalla struttura temporale delle dinamiche della policy: le policy casuali o debolmente strutturate offrono pochi benefici, mentre quelle con dipendenze sequenziali apprese producono correzioni pathwise basate sulla storia informative. Per i token discreti, la scelta della rilassazione è cruciale: la rilassazione a livello di embedding riduce considerevolmente la varianza, con un effetto che cresce con l’orizzonte, mentre la Gumbel-Softmax straight-through non ne riduce praticamente affatto secondo le nostre analisi diagnostiche. Validiamo il metodo su un modello di Markov lineare gaussiano, un T-maze con ricompense sparse e una policy ricorrente, e un modello Transformer autoregressivo applicato a piccole istanze del problema del commesso viaggiatore (TSP).