DR Pixel: ricerca approfondita nativa delle pagine con modelli visione-linguaggio

Abstract degli autori

Documenti complessi come gli articoli scientifici contengono molte informazioni in tabelle, figure ed equazioni; tuttavia, gli agenti di ricerca approfondita (DR) esistenti riducono in genere gli articoli al testo estratto tramite OCR. Ci chiediamo invece se i modelli visione-linguaggio (VLM) possano consentire una ricerca approfondita nativa delle pagine: recuperando direttamente le immagini delle pagine renderizzate dei documenti e ragionando su di esse. Presentiamo DR Pixel, il primo agente multimodale di ricerca approfondita open source end-to-end che usa le immagini delle pagine renderizzate come unica unità di recupero e ragionamento, operando su un corpus di 1,06 milioni di pagine. Per valutare questo approccio, realizziamo DRPixelBench, un benchmark basato su articoli scientifici che richiedono ragionamenti su testo, figure, tabelle ed equazioni. Sorprendentemente, la ricerca approfondita nativa delle pagine funziona già bene senza addestramento e supera le baseline basate sull’OCR con modelli all’avanguardia come GPT-5.4, Gemini-3.5-Flash e Qwen3.6-27B, richiedendo al contempo meno chiamate agli strumenti. Passiamo poi all’addestramento per la ricerca approfondita. Una sfida fondamentale è che le traiettorie generate dai modelli insegnanti per il fine-tuning supervisionato agentico sono rumorose: mescolano passaggi essenziali di ragionamento e azione con tentativi ridondanti o falliti. Per affrontare il problema, introduciamo la ripesatura controfattuale del credito, un metodo di attribuzione del credito a grana fine che assegna pesi ai singoli passaggi di ragionamento e azione in base al loro contributo controfattuale alla risposta finale. Il nostro addestramento migliora di circa 15 punti il richiamo nel recupero e di oltre 10 punti l’accuratezza finale su DRPixelBench, e supera anche la baseline non addestrata su quattro benchmark esistenti. Sul benchmark fuori distribuzione ViDoRe-V3, DR Pixel si avvicina entro 1,8 punti a un oracolo a cui vengono fornite direttamente le pagine corrette. I nostri risultati suggeriscono che la tradizionale pipeline OCR-poi-recupero non è solo superflua, ma anche subottimale: recuperare direttamente le pagine visive dei documenti e ragionare su di esse rende la ricerca approfondita complessa sia più efficace sia più efficiente.