Supervisione dello stato visibile: separare la rappresentazione dalla selezione delle viste nei video in streaming

Abstract degli autori

Un’azione vista una volta e la stessa azione vista tre volte ricevono la stessa etichetta di riconoscimento delle azioni, perciò la supervisione non richiede al modello di contare. Le risposte condivise tra storie che differiscono per ordine degli eventi, accumulo o relazioni lasciano tali distinzioni senza vincoli: chiamiamo questo fenomeno sottospecificazione dello stato. La Visible-State Supervision (ViSS) lo affronta addestrando il modello su verifiche basate sulla fonte relative all’identità degli eventi, al loro ordine, all’accumulo, ai cambiamenti nelle relazioni e alla sufficienza delle risposte; con la stessa interfaccia basata sui fotogrammi recenti, migliora i risultati su OVO-Bench rispetto a una baseline di supervisione temporale generica con abbinamento rigoroso, mantenendosi al contempo a un livello comparabile su StreamingBench e ottenendo il guadagno maggiore nel rilevamento delle allucinazioni. La Test-Time Causal View Search (TVS) adatta quindi l’accesso alle prove mantenendo fisso il modello appreso, ampliando su richiesta la visualizzazione dai fotogrammi recenti a viste sparse degli eventi e a viste compatte della cronologia. I due interventi separano la rappresentazione dalla selezione delle viste: la supervisione apporta benefici soprattutto al rilevamento delle allucinazioni e al ragionamento causale, mentre l’accesso alle prove favorisce in particolare il richiamo degli eventi e il ragionamento in avanti. Insieme raggiungono la migliore accuratezza riportata tra i sistemi pubblicati qui messi a confronto su StreamingBench e OVO-Bench, elaborando una frazione dei fotogrammi necessari con una selezione esaustiva; il replay rigoroso mostra che la maggior parte del divario residuo rispetto a un oracolo a tre viste è dovuta a una risposta corretta che è stata successivamente sostituita. L’accuratezza nello streaming dipende da ciò che la supervisione chiede al modello di conservare, dalle prove che l’inferenza rende accessibili e dalla capacità del modello di mantenere una risposta corretta una volta ottenuta.