CANOPY: compressione delle evidenze a granularità adattiva per il RAG multimodale

Abstract degli autori

Il RAG multimodale recupera testi, tabelle, immagini e video, ma scegliere la granularità del recupero non determina quanto contesto conservare all’interno di ciascun elemento. Le unità più ampie includono contenuti irrilevanti, mentre una selezione uniformemente a grana fine può eliminare il contesto necessario per interpretare le evidenze. I sistemi di compressione esistenti affrontano questo compromesso con meccanismi specifici per ciascuna modalità, lasciando aperta la questione di una procedura comune per adattare, regione per regione, la quantità di contenuto conservato in elementi eterogenei. Presentiamo CANOPY (Canonical Projection over Hierarchy), un framework per la compressione delle evidenze dopo il recupero a granularità adattiva. CANOPY rappresenta gli elementi recuperati come gerarchie e usa un codificatore di nodi sottoposto a fine-tuning sulle evidenze di riferimento per assegnare alle regioni un punteggio rispetto alla query. Un affinamento relativo al nodo genitore confronta questi punteggi per selezionare più regioni a diversi livelli di granularità, senza chiamate a LLM per la potatura dei singoli nodi. Poiché la compressione non può recuperare evidenze che non sono mai state reperite, un valutatore richiede un ulteriore recupero mirato quando giudica insufficienti le evidenze accumulate; i nuovi elementi recuperati vengono compressi prima di essere aggiunti. Su cinque benchmark di QA basati su un corpus eterogeneo di 33 milioni di elementi, CANOPY ottiene un’accuratezza media delle risposte superiore a quella dei metodi di riferimento per il recupero valutati. Gli studi di ablazione indicano che il recupero aggiuntivo è la principale fonte dei miglioramenti di accuratezza nei compiti di QA multi-hop. Nella configurazione Qwen3-VL-8B-Instruct senza instradamento, la compressione riduce del 14,2-27,7% i token di evidenza in ingresso al lettore rispetto alla stessa pipeline iterativa senza compressione, mantenendo un’accuratezza delle risposte comparabile.