Una rassegna sul flow matching nell’apprendimento per rinforzo

Abstract degli autori

Il flow matching (FM) si è recentemente affermato come un quadro teorico rigoroso ed efficiente per la modellazione generativa nell’apprendimento per rinforzo (RL). Attraverso il trasporto deterministico delle distribuzioni di probabilità, consente di rappresentare le politiche in modo espressivo e multimodale. A differenza delle politiche basate sulla diffusione, che si affidano a sequenze stocastiche di rimozione del rumore, il FM usa un campionamento basato su equazioni differenziali ordinarie (ODE) e campi di velocità appresi. Questo può ridurre notevolmente la latenza di inferenza e semplificare l’integrazione degli obiettivi di RL. Mentre la ricerca sull’RL basato sui flussi accelera rapidamente nel controllo continuo offline, nel fine-tuning online e nell’allineamento dei modelli fondazionali, la letteratura è diventata molto frammentata. In questa rassegna proponiamo una tassonomia completa degli approcci al flow matching nell’apprendimento per rinforzo. Organizziamo la letteratura lungo due assi: la distribuzione obiettivo modellata (per esempio, politiche d’azione, modelli critici del valore e dinamiche di transizione) e il meccanismo con cui si integra il segnale di RL (per esempio, regressione ponderata in base all’energia, gradienti di politica basati sui flussi e ottimizzazione relativa della politica per gruppi). Esaminiamo inoltre nuove direzioni di ricerca, come gli spazi delle azioni discreti e non euclidei, forniamo un’analisi comparativa sistematica rispetto a baseline gaussiane e basate sulla diffusione e delineiamo problemi aperti cruciali. In definitiva, questa rassegna offre una guida fondamentale per la prossima generazione dell’apprendimento per rinforzo generativo e dell’allineamento.