Trasporto ottimale non bilanciato per il recupero efficiente di documenti visivi

Abstract degli autori

I modelli visione-linguaggio (VLM) hanno migliorato il recupero di documenti visivi (VDR), consentendo rappresentazioni multivettoriali senza OCR. Tuttavia, questi modelli generano un numero eccessivo di token per preservare dettagli visivi densi, limitando fortemente la scalabilità del recupero. I metodi di compressione esistenti riducono questo sovraccarico, ma si basano su euristiche isolate che non riescono a bilanciare l’importanza dei token, la ridondanza semantica e la capacità di copertura. Proponiamo un framework di compressione dei token visivi formulato come un problema di trasporto ottimale non bilanciato (UOT). Il nostro approccio riunisce questi tre obiettivi in un unico processo di ottimizzazione alternata. Inoltre, dimostriamo teoricamente che la minimizzazione del costo di trasporto fornisce un limite superiore all’errore di recupero MaxSim, garantendo la stabilità del ranking. Esperimenti approfonditi sui benchmark ViDoRe V1 e V3 dimostrano che il nostro metodo preserva la semantica fine-grained dei documenti e migliora il compromesso tra efficienza ed efficacia rispetto alle baseline all’avanguardia. Il codice è disponibile all’indirizzo https://github.com/shhhhhyy/Unbalanced-Optimal-Transport-for-EVDR.