VideoJev: un modello System One per la comprensione dei video e l’interazione

Abstract degli autori

Gli agenti visivi devono trasformare le osservazioni video in decisioni tempestive per monitorare i progressi e scegliere cosa fare dopo. Sulla scia dell’emergente paradigma System One, presentiamo VideoJev, una famiglia di modelli che affronta la comprensione dei video e l’interazione come compiti decisionali strutturati. Adattiamo modelli linguistici multimodali di grandi dimensioni (MLLM) preaddestrati sostituendo la decodifica autoregressiva delle risposte con una testa condivisa che assegna punteggi a intervalli temporali e opzioni testuali sulla base delle informazioni contenute nel video. Da questi punteggi si ricavano gli intervalli degli eventi o le risposte da scegliere, unificando la localizzazione temporale degli eventi e la risposta a domande a scelta multipla sui video. Questo approccio combina la flessibilità semantica degli MLLM con decisioni efficienti che gli agenti possono usare direttamente. Con il procedere dell’interazione, nuovi obiettivi e risultati intermedi richiedono ulteriori interrogazioni sulla stessa cronologia visiva. VideoJev riutilizza quindi i calcoli sulle informazioni visive tramite Cached inference, per le interrogazioni via via che arrivano, e Joint inference, per più interrogazioni in un unico passaggio in avanti. Su tre benchmark di localizzazione temporale degli eventi, VideoJev-4B e VideoJev-35B-A3B migliorano la mIoU media rispetto ai rispettivi modelli di base di 6,7 e 10,8 punti, con accelerazioni misurate dell’inferenza pari a $2.8$-$3.1\times$. Su quattro benchmark di domande e risposte sui video, entrambi ottengono prestazioni paragonabili a quelle dei rispettivi modelli di base in modalità Thinking, con accelerazioni misurate dell’inferenza superiori a $100\times$. Questi risultati offrono un’interfaccia decisionale unificata e riutilizzabile per combinare valutazioni visive strutturate in flussi di lavoro complessi e aperti.