PolyOCR-Venus: modelli fondazionali OCR unificati per l’intelligenza visiva incentrata sul testo

Abstract degli autori

Il riconoscimento ottico dei caratteri (OCR) sta passando dalla semplice trascrizione del testo a un’intelligenza visiva più generale, che richiede modelli capaci di riconoscere, localizzare e analizzare le informazioni testuali in ambienti visivi complessi. Tuttavia, i sistemi OCR esistenti spesso eccellono solo in alcuni compiti e faticano a bilanciare riconoscimento, analisi strutturale e ragionamento nei diversi scenari. In questo rapporto presentiamo PolyOCR, una famiglia di modelli fondazionali OCR unificati di diverse dimensioni. PolyOCR combina un framework condiviso per seguire le istruzioni con un sistema di gestione dei dati su larga scala che trasforma risorse visive eterogenee in dati di supervisione OCR di qualità verificata. Introduciamo Competence-Guided Policy Optimization, che combina Group Relative Policy Optimization basata su verificatori e distillazione on-policy mediante un instradamento per campione fondato sull’affidabilità del modello insegnante e sul divario di competenza tra insegnante e studente. Introduciamo inoltre OCRBench v2.1, la nostra revisione di OCRBench v2, con correzioni delle annotazioni verificate manualmente e metriche di valutazione allineate ai compiti. Ampi esperimenti su OCRBench v2.1, CC-OCR, il KIE Benchmark interno, OmniDocBench v1.6 e MDPBench dimostrano che PolyOCR raggiunge prestazioni allo stato dell’arte o altamente competitive.