Video-RSI: auto-miglioramento ricorsivo degli agenti per la comprensione dei video attraverso l’evoluzione dell’harness

Abstract degli autori

Gli agenti per la comprensione dei video raccolgono evidenze attraverso un harness eseguibile che controlla ciò che osservano e come utilizzano le osservazioni. Tuttavia, le tracce di esecuzione contengono solo le evidenze raccolte dall’harness corrente: le spiegazioni alternative degli errori restano quindi irrisolte e le possibilità di auto-miglioramento sono limitate. Presentiamo Video-RSI, un framework per l’auto-miglioramento ricorsivo in cui un agente per la comprensione dei video usa il proprio modello linguistico per modificare il suo harness. Attraverso un’indagine attiva sui video, il modello riesamina i video originali usati per l’addestramento e verifica le spiegazioni alternative degli errori mediante ulteriori osservazioni, fondando le modifiche proposte su evidenze che vanno oltre la traccia esistente. L’evoluzione dell’harness attenta ai costi trasforma queste diagnosi in modifiche riutilizzabili e determina quali conservare tenendo conto sia dell’accuratezza delle risposte sia del costo dell’elaborazione visiva. Nei benchmark di comprensione dei video usati per le nostre valutazioni, l’agente così evoluto migliora l’accuratezza elaborando meno fotogrammi e raggiunge compromessi competitivi tra accuratezza ed efficienza rispetto agli agenti esistenti per la comprensione dei video. Questi risultati mostrano il potenziale degli agenti per la comprensione dei video di migliorare autonomamente il modo in cui raccolgono e utilizzano le evidenze attraverso l’evoluzione dell’harness. Il codice è disponibile all’indirizzo https://github.com/bingjunluo/Video-RSI .