DeltaStreamer: verso una comprensione agentica dei video in streaming simile a quella umana

Abstract degli autori

Proponiamo DeltaStreamer, un nuovo framework agentico per la comprensione dei video in streaming, ispirato al modo in cui gli esseri umani osservano, ricordano e indagano. Per comprendere un video in streaming, un sistema deve conservare le evidenze prima di sapere quali dettagli serviranno alle richieste future. Gli approcci esistenti, quando comprimono la cronologia del video, spesso rendono poco chiare le transizioni tra gli eventi e omettono dettagli pertinenti, senza poter recuperare le evidenze visive mancanti. DeltaStreamer affronta questi limiti combinando una memoria sensibile ai cambiamenti con una pianificazione guidata dalla richiesta e una raccolta mirata di evidenze tramite riproduzione. Prima che arrivi una richiesta, osserva continuamente il flusso e registra esplicitamente i cambiamenti visivi in una memoria strutturata, preservando il modo in cui gli eventi si svolgono, non soltanto ciò che è presente. Quando arriva una richiesta, un pianificatore guidato dalla richiesta individua le evidenze necessarie e orienta il recupero dalla memoria e la riproduzione mirata. Riesaminando i fotogrammi precedenti, l’agente può recuperare dettagli visivi omessi durante l’osservazione e fondare la risposta su evidenze che vanno oltre le descrizioni conservate. Questo collega l’osservazione continua a un’indagine attiva adattata a ogni domanda. Gli esperimenti su OVO-Bench e StreamingBench mostrano miglioramenti rispetto a metodi rappresentativi per la comprensione dei video in streaming, con punteggi complessivi rispettivamente del 66,07% e del 59,53%. Pagina del progetto: https://bbbbchan.github.io/DeltaStreamer/