EviRover: potenziare la percezione agentica oltre un singolo sguardo

Abstract degli autori

La percezione visiva è tradizionalmente formulata come una previsione basata su un solo sguardo all’immagine, nell’ipotesi che il contenuto dell’immagine e le conoscenze parametriche del modello siano sufficienti a rispondere al quesito. Questa ipotesi spesso non regge negli scenari reali che dipendono da dettagli visivi minuti o richiedono informazioni approfondite e aggiornate. Definiamo questi casi \textit{percezione con evidenze insufficienti} e formuliamo la percezione come un processo agentico capace di acquisire informazioni oltre un singolo sguardo. Per colmare la mancanza di dati relativi a questo contesto, progettiamo due pipeline dedicate alla generazione di dati, da cui otteniamo EviRover-SFT-5K ed EviRover-RL-12K per l’addestramento. Realizziamo inoltre EviLens, un benchmark verificato da esseri umani che comprende 688 casi distribuiti in cinque categorie di percezione. Sulla base di questi dati, presentiamo EviRover, a nostra conoscenza il primo agente di percezione addestrato esplicitamente a risolvere quesiti percettivi attraverso l’interazione, mediante fine-tuning supervisionato seguito da apprendimento per rinforzo agentico. Gli esperimenti mostrano che EviRover 4B supera il modello su cui si basa di 30 punti in media su EviLens, raggiungendo prestazioni paragonabili a quelle di modelli proprietari avanzati. I miglioramenti si estendono oltre EviLens a WebEyes, ai benchmark di percezione convenzionali e ai benchmark multimodali generali, con un miglioramento di 15 punti su BrowseComp-VL. Tutto il codice, i modelli e i dati sono stati resi disponibili.