Open-o3-Video-v2: cerca, localizza e ragiona sulla base di evidenze spazio-temporali verificabili

Abstract degli autori

Un ragionamento affidabile sui video richiede modelli capaci di fornire risposte corrette e mostrare le prove visive che le sostengono. Open-o3-Video rende il ragionamento verificabile inserendo riferimenti temporali e riquadri di delimitazione degli oggetti nelle tracce di ragionamento, ma è limitato ai fotogrammi selezionati da un campionatore iniziale a bassa frequenza. Presentiamo Open-o3-Video-v2, che concepisce il ragionamento sui video come un processo unitario, basato su prove e guidato da un agente. Il modello individua le informazioni mancanti, acquisisce ulteriori osservazioni, identifica i momenti e gli oggetti a sostegno del proprio ragionamento e registra queste prove nella traiettoria prima di proseguire o rispondere. Per supportare questo comportamento, realizziamo STGR-v2-CoT135K, che include 52K traiettorie di ragionamento ancorato a prove, articolate in più turni e guidate da un agente, e STGR-v2-RL-13K per l’apprendimento per rinforzo. Proponiamo inoltre Clue-Seek GRPO (CS-GRPO), che tiene traccia di come le chiamate agli strumenti modificano le prove accumulate, premia la copertura degli indizi e i progressi a ogni passaggio e penalizza il recupero eccessivo, ripetitivo o privo di informazioni utili. Su V-STaR, Open-o3-Video-v2-4B raggiunge il 40,4% di mAM e il 56,3% di mLGM, superando rispettivamente dell’8,5% e del 12,6% Qwen3-VL-4B, il modello su cui si basa. Ottiene inoltre miglioramenti costanti nei benchmark di comprensione generale dei video, ragionamento su video lunghi e localizzazione temporale. Questi risultati mostrano che l’acquisizione attiva di prove e l’ancoraggio verificabile agli oggetti si completano a vicenda nel rendere affidabile il ragionamento sui video. Il codice e i modelli sono disponibili all’indirizzo https://msalab-pku.github.io/projects/Open-o3-Video-v2.