Reviso: non tutte le evidenze visive meritano la stessa attenzione nella generazione di didascalie video

Abstract degli autori

I grandi modelli linguistici multimodali (MLLM) possono generare didascalie video dettagliate, ma potrebbero enfatizzare eccessivamente dettagli secondari trascurando il contesto essenziale e gli eventi chiave. Sosteniamo che non tutte le evidenze visive meritino la stessa attenzione, poiché l’importanza delle informazioni visive dipende dal contenuto di ciascun video. Partendo da questa osservazione, proponiamo Reviso, un framework agentico per la generazione di didascalie video che apprende cosa osservare e come raccogliere evidenze visive pertinenti. A partire da un’anteprima globale a bassa frequenza dei fotogrammi, Reviso elabora un piano di osservazione gerarchico Context--Focus--Points (CFP), che identifica il contesto del video, assegna priorità agli aspetti chiave e definisce obiettivi di osservazione concreti e gli strumenti corrispondenti. Guidato da questo piano, Reviso esegue una percezione attiva orientata agli obiettivi, tornando selettivamente su segmenti temporali e combinando strumenti per un’ispezione a grana fine. Interpreta le evidenze raccolte, aggiorna il piano quando necessario e integra informazioni globali e locali per generare la didascalia finale. Per apprendere questa strategia di osservazione, sviluppiamo una pipeline guidata dalla verifica, che costruisce traiettorie di addestramento di alta qualità attraverso la verifica dei fatti e un perfezionamento guidato da un modello docente. Addestriamo inoltre Reviso con Group Relative Policy Optimization (GRPO), integrando una ricompensa basata sui fatti chiave per la qualità delle didascalie, un Plan Alignment Reward (PAR) per l’identificazione degli obiettivi di osservazione importanti e un Unproductive Tool-Call Penalty (UTCP), che regola le penalità per i costi di osservazione in base alla qualità delle didascalie. Gli esperimenti condotti su quattro benchmark di generazione di didascalie video mostrano che Reviso supera i baseline open source valutati e che le didascalie generate supportano meglio le successive attività di risposta a domande sui video. Questi risultati evidenziano l’efficacia e il potenziale dell’osservazione attiva guidata dalle priorità nella generazione di didascalie video.