SleuthVLM: abbiamo davvero bisogno dell’audio nei video per comprenderli in modo omni?

Abstract degli autori

I modelli omni rispondono a domande sui video elaborando congiuntamente frame campionati e audio in un unico turno; i progressi sono dovuti in larga parte all’aumento delle dimensioni dei modelli e dei dati di addestramento omni. Ci chiediamo se un modello debba davvero ascoltare direttamente l’audio e presentiamo SleuthVLM, un framework agentico basato su un VLM che non ascolta mai direttamente l’audio: il parlato viene trascritto in testo e il VLM indaga autonomamente il video, senza alcun flusso di lavoro predefinito. Su quattro benchmark omni con video della durata massima di 90 minuti, SleuthVLM ottiene la migliore accuratezza media: \textbf{75,0%}, 2,6 punti in più rispetto a Gemini 3.8 Flash; inoltre, è in testa alla classifica di Video-MME-v2 con \textbf{77,8%}. Con un VLM open source da 27B, supera tutti i modelli omni open source. Da qui emergono tre risultati: SleuthVLM supera un modello che si limita a dare un’occhiata; il collo di bottiglia non è l’ascolto, ma la capacità agentica; per la comprensione omni servono migliori capacità agentiche, non soltanto più dati omni per l’allineamento delle modalità. Offriamo quindi un punto di partenza semplice ma efficace per la comprensione omni dei video. Per la comprensione omni servono agenti migliori, non soltanto modelli più grandi capaci di ascoltare.