Selezionare o risolvere? Cosa offre la verifica best-of-N nel ragionamento video

Abstract degli autori

Rispondere a una domanda complessa su un video lungo è un problema di grounding: la risposta dipende da pochi secondi di evidenze e i modelli visione-linguaggio restano ben al di sotto dell’accuratezza umana nel trovarle. Il metodo standard per impiegare ulteriore capacità di calcolo al test time in questo tipo di ragionamento video è la selezione best-of-N: si campionano diverse risposte con chain-of-thought da un modello fisso, poi si chiede a un secondo modello di riguardare il video e sceglierne una. Queste pipeline vengono descritte con un unico numero di sintesi: il margine rispetto al voto di maggioranza. Questo numero confonde due effetti con conseguenze opposte per l’impiego: il beneficio apportato dal secondo modello selezionando tra le risposte candidate e quello che avrebbe fornito risolvendo direttamente la domanda. Li distinguiamo misurando l’Incremento di selezione (SI) — l’accuratezza nella selezione meno l’accuratezza dello stesso verificatore quando non gli vengono mostrate le risposte candidate — insieme al margine rispetto alla self-consistency, su cinque benchmark di video lunghi. L’Incremento di selezione è massimo per i verificatori più deboli: un verificatore che risolve male la domanda da solo lascia alle risposte candidate più spazio per essere d’aiuto. Superare il voto di maggioranza segue il profilo opposto: quando il voto è già vicino al suo limite massimo, nessuno dei verificatori che testiamo riesce a migliorarlo; al di sotto di quel limite, ci riescono solo i più forti. Su Video-Holmes, i due effetti divergono con lo stesso insieme di risposte candidate: un verificatore debole guadagna +19,3 punti grazie alle risposte candidate, ma ottiene un risultato inferiore di 7,1 punti rispetto al voto, mentre il verificatore di frontiera guadagna meno di tutti e supera il voto. Il verificatore più debole mostra anche una modalità di errore: su EgoSchema sceglie in base alla posizione di un’opzione nell’elenco, anziché a ciò che mostra il video. Se interpretato come misura del merito, l’SI colloca in cima alla classifica un verificatore che non riesce a superare il voto di maggioranza; se invece lo si legge come uno strumento di audit, indica quale dei due effetti si riflette nel numero di sintesi. Il codice è disponibile all’indirizzo https://github.com/facebookresearch/best-n-selection-video-reasoning.