VepAgent: colmare le lacune nelle transizioni causali con l’apprendimento per rinforzo potenziato da strumenti per la previsione degli eventi nei video

Abstract degli autori

I modelli linguistici multimodali di grandi dimensioni (MLLM) hanno mostrato notevoli potenzialità nella comprensione dei video. Tuttavia, quando vengono applicati alla previsione degli eventi nei video (VEP), il ricorso a riepiloghi retrospettivi e a prior incentrati sul testo spesso limita la loro capacità di ricostruire le transizioni causali non osservate. Per affrontare questo limite, proponiamo VepAgent, un framework basato su agenti che integra il ragionamento sulle transizioni causali con l’apprendimento per rinforzo (RL) potenziato da strumenti, per una VEP robusta. A differenza dei metodi precedenti, che proiettano passivamente le traiettorie future sulla base delle dipendenze storiche, il nostro approccio modella esplicitamente la progressione logica dagli stati finali osservati agli eventi futuri. Innanzitutto, realizziamo futurebench-4K, un dataset di chain-of-thought di alta qualità per il fine-tuning supervisionato (SFT), che colma il divario nella logica causale strutturando la deduzione degli stati intermedi non osservati. Sviluppiamo poi una libreria di strumenti diagnostici che integra il tracciamento degli stati, il recupero dei fotogrammi e l’ingrandimento delle regioni, consentendo all’agente di ricorrere dinamicamente a strumenti esterni per integrare il ragionamento, recuperare le evidenze spazio-temporali mancanti e risolvere le ambiguità visive durante l’inferenza. Proponiamo inoltre un meccanismo di ricompensa composito che ottimizza congiuntamente l’accuratezza delle previsioni, la coerenza causale e l’affidabilità dei prior, spingendo l’agente a basarsi su un effettivo ancoraggio alle informazioni visive anziché su somiglianze testuali superficiali. Valutazioni approfondite sui dataset FutureBench e NEPBench mostrano che il nostro metodo raggiunge prestazioni allo stato dell’arte, superando nettamente MLLM di maggiori dimensioni e confermando empiricamente l’efficacia del nostro paradigma di ragionamento basato su agenti e orientato al futuro.