Youtu-Parsing-Omni: un encoder, uno schema, tutte le modalità

Abstract degli autori

Presentiamo Youtu-Parsing-Omni, un parser omni-modale che converte documenti, immagini, audio e video in record strutturati e ancorati nello spazio e nel tempo, offrendo un livello di percezione per gli agenti che leggono, individuano e citano evidenze attraverso diverse modalità. Il suo design si basa su un encoder per ogni modalità e uno schema per ogni attività. Youtu-Omni-Encoder, inizializzato a partire da un modello linguistico pre-addestrato per potenziare la lettura del testo, codifica tutte le modalità con pesi condivisi in un sistema unificato di coordinate spazio-temporali; alcuni livelli di fusione consentono ai fotogrammi video di prestare attenzione all’audio concomitante, integrando così la fusione cross-modale e l’allineamento temporale nella percezione stessa. OmniSchema unifica gli output di tutte e dieci le attività di parsing, consentendo a un’unica procedura di post-training auto-evolutiva, OmniSchema-Aware On-Policy Distillation (OSAD), di fornire un obiettivo condiviso, basato sui ruoli dei token, per tutte le attività. A ogni iterazione, il modello viene addestrato sui propri rollout rispetto a obiettivi a livello di token provenienti da una copia di sé stesso condizionata da un riferimento; questa viene poi aggiornata con i pesi del modello addestrato, così che il parser e la sua supervisione evolvano insieme. Con un singolo checkpoint da 5 miliardi di parametri, Youtu-Parsing-Omni raggiunge prestazioni allo stato dell’arte su OmniDocBench v1.6 (96,96 complessivo) e supera tutti i modelli open-weight su OmniParsingBench (75,08 di media), con un vantaggio concentrato su audio e video. Ottiene inoltre il miglior punteggio complessivo nel parsing di grafici (95,02) e il più alto livello di corrispondenza esatta delle impronte chimiche tra i sistemi confrontati; nella trascrizione a livello di carattere di spartiti stampati, eguaglia un modello specializzato nella musica ottica, restando nettamente avanti ai sistemi generalisti. Il codice e i pesi del modello sono disponibili pubblicamente.