Il reranking multimodale è una decisione System One

Abstract degli autori

I reranker multimodali sono di solito modelli dedicati: un modello visione-linguaggio (VLM) viene addestrato su dati di recupero delle informazioni per assegnare un punteggio ai candidati di una query. Assegnare un punteggio alle opzioni non è però un’operazione esclusiva del reranking. I modelli decisionali System One, come Jev, associano a uno stato e a una domanda tipizzata una probabilità per ciascuna opzione, senza generare testo; anche i modelli generalisti possono prendere decisioni di questo tipo con poco o nessun addestramento. Il reranking è una di queste decisioni: lo stato è costituito dalla query e dai suoi candidati, mentre le opzioni sono i candidati stessi. Sosteniamo quindi che un VLM generalista possa fungere da reranker multimodale attraverso decisioni System One e che l’addestramento sulle decisioni possa migliorarne il reranking. Poniamo a un VLM un’unica domanda a scelta fra i primi 16 candidati individuati da un sistema di recupero di primo stadio e li ordiniamo in base alle probabilità delle rispettive etichette, ricavate da un solo passaggio in avanti. Nel recupero di immagini di MMEB-V2, questa domanda a scelta ottiene un hit@1 superiore di 5,4-7,3 punti rispetto a una domanda sì/no per ciascun candidato; la domanda sì/no ottiene un risultato inferiore a quello del primo stadio. Con la domanda a scelta, Qwen3.8-27B in modalità zero-shot supera il modello supervisionato Qwen3-VL-Reranker-2B su tutti e tre i benchmark e si colloca entro 1,6 punti da Reranker-8B in ciascuno di essi. Eguaglia Reranker-8B sui documenti visivi di MMEB-V2 (84,79 contro 84,78 nDCG@5), con una latenza pari a 1,1-1,5 volte quella di Reranker-8B. JEV-27B-VL, che usa lo stesso modello di base ma è stato addestrato esclusivamente su decisioni testuali, migliora il reranking delle pagine di 0,6-1,1 punti, con progressi nella maggior parte dei compiti (test dei segni, p <= 0,017), mentre i risultati sulle immagini naturali restano invariati. Il modello zero-shot è più grande dei reranker supervisionati e appartiene a una generazione più recente: questi confronti sono quindi influenzati da fattori confondenti. Discutiamo questo aspetto e altre interpretazioni alternative, oltre agli esperimenti che permetterebbero di verificare la nostra tesi.