VisConf: un consenso che tiene conto della qualità nel ragionamento dei modelli visione-linguaggio con Best-of-N

Abstract degli autori

I metodi Best-of-N migliorano il ragionamento degli LLM basati solo sul testo campionando più traiettorie prima di selezionare una risposta. Per i modelli visione-linguaggio (VLM), la frequenza delle risposte e la fiducia del modello, da sole, possono non bastare: le generazioni campionate variano anche nel grado di attenzione che prestano all’input visivo. Rileviamo che la fiducia basata sulla distribuzione e l’attenzione visiva sono indicatori complementari della qualità dei rollout. Ciascuno ha dei limiti se considerato da solo, mentre le traiettorie che mostrano segnali forti per entrambi hanno maggiori probabilità di essere corrette. Su questa base, presentiamo VisConf, un punteggio di qualità dei rollout che combina in modo moltiplicativo il grado di attenzione all’input visivo con la Self-Certainty calibrata sui candidati, penalizzando i rollout in cui uno dei due segnali è debole. Integriamo Rank-Weighted Consensus (RWC), una regola di aggregazione che non richiede messa a punto e converte le posizioni nella graduatoria di VisConf per ciascuna domanda in pesi di voto per le risposte. Su tre VLM, nei test MathVista, MMMU-Pro e MMStar, VisConf con RWC supera sistematicamente solidi metodi di riferimento BoN. La nostra analisi mostra miglioramenti particolarmente marcati quando nell’insieme dei candidati sono presenti traiettorie corrette, ma sottorappresentate.