AVC-Reward: valutazione della coerenza audio-video incentrata sugli eventi

Abstract degli autori

Man mano che i modelli di generazione congiunta di audio e video diventano più capaci, riescono a generare scene audiovisive caratterizzate da tre forme di complessità: la compresenza di più eventi, la sovrapposizione di più livelli audio e le relazioni asimmetriche tra modalità. Le valutazioni attuali, tuttavia, riutilizzano in larga misura metriche sviluppate per compiti precedenti, più semplici e unidirezionali. Di norma valutano una clip audio-video nel suo insieme e si basano su semplici relazioni predefinite: per questo non sono adatte a scene sempre più complesse. Proponiamo un metodo di valutazione incentrato sugli eventi che distingue gli eventi sonori da quelli visivi, analizza ciascun evento in modo indipendente, verifica in modo incrociato le relazioni tra modalità e aggrega i giudizi in una metrica di coerenza a tre livelli, dal generale al dettaglio. La metrica valuta l’armonia narrativa globale, la sincronizzazione temporale a livello di evento e l’allineamento dettagliato degli attributi, offrendo una formulazione generale per valutare la coerenza audio-video in diversi contesti di generazione e con diverse relazioni tra modalità. Realizziamo la metrica in AVC-Reward, un modello di ricompensa audio-video addestrabile. Per valutare la concordanza tra i giudizi automatici e la percezione umana al variare dei paradigmi di generazione e della complessità delle relazioni, costruiamo AVC-Benchmark, composto principalmente da diversi campioni positivi e negativi generati da vari tipi di modelli di generazione audio-video. Tra i metodi automatici, AVC-Reward raggiunge un allineamento con il giudizio umano allo stato dell’arte, fornisce motivazioni interpretabili che individuano gli errori e, quando viene usato come segnale per l’apprendimento per rinforzo online, migliora la coerenza audio-video di un modello di generazione congiunta. Pagina del progetto: https://tsuki0512.github.io/AVC-Reward.github.io/