NeoMME: un encoder di base multilingue, nativamente multimodale e a torre singola, per fine-tuning e inferenza efficienti

Abstract degli autori

I modelli multimodali si basano spesso su architetture progettate per la modellazione generativa di immagini e linguaggio, che in genere combinano encoder visivi preaddestrati separatamente con modelli linguistici causali. I sistemi di ricerca di documenti visivi come ColPali riutilizzano questi modelli come encoder, mantenendo il costo in termini di parametri e calcolo di un VLM per un compito non generativo. Presentiamo NeoMME, una famiglia di encoder bidirezionali multimodali e multilingue da 260 e 800 milioni di parametri che elaborano testo multilingue e patch di immagini grezze in un unico encoder Transformer bidirezionale. Entrambi i modelli sono preaddestrati da zero con un obiettivo testuale di diffusione discreta con mascheramento, condizionato dalle patch di immagine visibili negli esempi multimodali. Entrambi supportano un contesto di 16.384 token, sufficiente a codificare fino a due immagini 4K UHD standard. Per dimostrarne le capacità nei compiti successivi, sottoponiamo NeoMME a fine-tuning con teste dense e a interazione tardiva addestrate congiuntamente. Nel benchmark ViDoRe v3, il modello risultante NeoMME-Retriever 260M supera tutti i modelli valutati con meno di 800 milioni di parametri, ottenendo 0,523 nDCG@10, mentre NeoMME-Retriever 800M raggiunge 0,556. A parità di dimensioni dell’immagine in ingresso, 2048x2048, su una NVIDIA L40S NeoMME-260M codifica le pagine con una produttività circa 2 volte superiore a quella di ColModernVBERT. Il raggruppamento gerarchico dei token e la quantizzazione asimmetrica comprimono di 255 volte gli embedding multimodali dei documenti per l’interazione tardiva, preservando oltre il 95% dell’nDCG@10 di riferimento. Abbiamo integrato NeoMME in Hugging Face Transformers e rendiamo disponibili il backbone preaddestrato e i checkpoint compatibili con il retrieval con licenza Apache 2.0 all’indirizzo https://hf.co/collections/Hcompany/neomme.