Zooming without Zooming v2: dall’osservazione dei dettagli al collegamento delle evidenze per una percezione multimodale generalizzabile

Abstract degli autori

La percezione multimodale è alla base dell’intelligenza multimodale. In particolare, la percezione spaziale e la comprensione multimodale di contesti lunghi sono due compiti fondamentali per l’IA incarnata e gli agenti multimodali. Tuttavia, sintetizzare dati di addestramento mirati e di alta qualità per questi compiti resta difficile e costoso. La nostra intuizione principale è che entrambi si basino su una capacità comune, che chiamiamo collegamento delle evidenze: individuare i fatti visivi pertinenti, associarli alle entità corrette, ricostruirne le relazioni e combinarli in una risposta. È importante notare che sintetizzare dati di addestramento mirati a questa capacità è molto più facile che sintetizzarne per i compiti stessi. Per rafforzarla, proponiamo EvidenceConnect, un framework di sintesi dei dati facile da implementare che usa viste ingrandite di regioni correlate all’interno di una singola immagine per generare domande che richiedono di confrontare, aggregare o concatenare evidenze visive. Per garantire la qualità, una risposta di riferimento viene conservata solo se VLM indipendenti concordano su di essa; test di ablazione delle regioni scartano inoltre le domande a cui è possibile rispondere anche dopo la rimozione di determinate regioni. Addestriamo poi VLM di base sui dati così ottenuti mediante RLVR, ottenendo Zooming without Zooming v2 (ZwZ2). Sebbene i dati sintetizzati non siano adattati a nessun benchmark successivo, ZwZ2 migliora la percezione dei dettagli e quella spaziale, con ulteriori progressi nel ragionamento spaziale incarnato, nella comprensione multimodale di contesti lunghi, nei compiti degli agenti multimodali e nel ragionamento visivo generale. Questi risultati dimostrano che EvidenceConnect è un framework efficace per supervisionare il collegamento delle evidenze e suggeriscono che rafforzare questa capacità comune porti a una percezione multimodale più generalizzabile.