The Pulse

Linkup rilascia SPARSEUP, modello per il retrieval da 149 milioni di parametri

Linkup Research ha reso open source SPARSEUP, un modello di embedding sparso da 149 milioni di parametri, con licenza Apache 2.0. Il modello ottiene un punteggio di 56,4 nDCG@10 su BEIR-13 e raggiunge un recall superiore al 97% in circa 380

AI.info Team · Scritto con l’IA · verificato · 2026-09-20

Linkup Research ha rilasciato SPARSEUP il 17 settembre come suo primo modello open source: un modello di retrieval sparso da 149 milioni di parametri, basato su ModernBERT e distribuito con licenza Apache 2.0. Con un punteggio medio di 56,4 nDCG@10 su BEIR-13, secondo l’azienda è il miglior encoder sparso pubblico basato sul vocabolario con meno di 150 milioni di parametri di cui sia a conoscenza.

A differenza dei sistemi di retrieval densi, che rappresentano ogni passaggio come un singolo vettore continuo, SPARSEUP assegna pesi ai termini del vocabolario. L’output può essere memorizzato in un indice invertito e ispezionato quando un risultato di ricerca non è corretto. Linkup propone il modello come controparte sparsa di DenseOn e LateOn, rilasciati da LightOn, utilizzando la stessa famiglia di backbone e gli stessi dati di fine-tuning per rendere più facile il confronto tra i tre approcci al retrieval.

SPARSEUP completa la gamma di modelli per il retrieval di LightOn

Linkup parte dal checkpoint LateOn-unsupervised, un modello basato su ModernBERT originariamente addestrato per il retrieval a interazione tardiva. Poiché quel checkpoint non includeva più una testa per il masked language modeling, il team vi ha reinserito la testa originale di ModernBERT prima del fine-tuning.

L’addestramento utilizza la combinazione di dati per il fine-tuning di LightOn con apprendimento contrastivo, sette esempi negativi difficili campionati da un insieme di 50 per ogni query ed esempi negativi all’interno del batch. L’addestramento è stato eseguito su una singola GPU H100 e non ha utilizzato la distillazione da cross-encoder. Alle query e ai documenti vengono aggiunti rispettivamente i prefissi [Q] e [D], prima che il modello produca un vettore sparso delle dimensioni del vocabolario, a cui viene assegnato un punteggio mediante un prodotto scalare.

Tre modifiche mantengono sparso il vettore del vocabolario

Un’implementazione standard in stile SPLADE sullo stesso backbone produceva grandi insiemi contenenti stopword e termini non correlati. Linkup attribuisce il problema agli elevati logit MLM di ModernBERT e alla possibilità per ogni token di input di espandersi nelle circa 50.000 dimensioni del vocabolario.

SPARSEUP innanzitutto trasla i logit prima di applicare l’attivazione sparsa: log(1 + ReLU(x - 15)). Linkup ha scelto 15 dopo aver esaminato documenti di MS MARCO, affermando che funzionavano valori tra 10 e 20. La traslazione porta le attivazioni deboli al di sotto del punto in cui altrimenti creerebbero insiemi di output densi.

La seconda modifica mantiene solo le 12 dimensioni del vocabolario più forti per ogni token di input prima del max pooling. Il limite controlla l’espansione per token, anziché imporre un limite fisso al vettore finale. La terza modifica accorpa le varianti BPE a livello di byte. Forme come heat, Heat, Ġheat e ĠHeat vengono ricondotte a un’unica voce canonica del vocabolario, riducendo lo spazio di output da circa 50.000 dimensioni a circa 34.000.

Un punteggio di 56,4 con compromessi evidenti

SPARSEUP raggiunge un nDCG@10 medio di 56,4 su BEIR-13, escluso MS MARCO. È il primo punteggio superiore a 56 ottenuto da un encoder sparso con meno di 150 milioni di parametri di cui Linkup sia a conoscenza. Il modello ottiene buoni risultati su ArguAna e Touché e supera DenseOn su HotpotQA, ma DBPedia è un punto debole e il divario maggiore rispetto a DenseOn emerge su FiQA.

Il confronto controllato con i modelli di LightOn è meno favorevole al sistema sparso. Utilizzando la stessa famiglia di backbone e gli stessi dati di addestramento, LateOn ottiene un punteggio di 58,9 e DenseOn di 57,9 su BEIR-13, rispetto al 56,4 di SPARSEUP. Per la valutazione SPARSEUP utilizza la ricerca approssimata di Seismic, mentre i risultati di LightOn si basano sulla ricerca esatta: il confronto quindi non mantiene costanti le condizioni di ricerca.

Su BEIR decontaminato, SPARSEUP arriva a 0,17 punti da DenseOn. Linkup avverte che i sottoinsiemi decontaminati di NQ e MS MARCO contengono rispettivamente solo 21 e 46 query, rendendo queste medie sensibili a piccole variazioni.

La ricerca Seismic mantiene la latenza delle query sotto il millisecondo

SPARSEUP produce su MS MARCO una media di 47 termini diversi da zero per query e 190 per documento. Nello stesso confronto, SPLADE-v3 ne produce 25 e 170: le query di SPARSEUP sono quindi leggermente più dense, mentre le rappresentazioni dei documenti rimangono in un intervallo simile.

Con un indice invertito Seismic, SPARSEUP raggiunge un recall superiore al 97% rispetto alla ricerca esatta in circa 380 microsecondi per query in un test a thread singolo. Il dato riguarda l’operazione di retrieval, non l’intera pipeline, e Linkup non lo confronta direttamente con sistemi densi o a interazione tardiva eseguiti su hardware diverso.

L’espansione dei vettori sparsi potrebbe migliorare le prestazioni su BEIR di circa uno o due punti, secondo Linkup, ma la versione rilasciata mantiene invece rappresentazioni più piccole. Questa scelta rende il modello meno competitivo su alcuni set di benchmark, preservando però le proprietà di archiviazione, ispezione e indicizzazione invertita che distinguono il retrieval sparso dagli embedding densi.

I pesi sono disponibili con licenza Apache 2.0

I pesi di SPARSEUP sono disponibili nel repository del modello Linkup-Platform/linkup-sparseup-embed-v1. Gli sviluppatori possono caricarlo tramite Transformers o Sentence Transformers con trust_remote_code=True. Il post di Linkup mette inoltre a disposizione strumenti per convertire gli output in dizionari di termini, visualizzare i termini ponderati e risalire ai sottotoken di input che hanno prodotto le dimensioni più forti.

Il modello non viene presentato come un sostituto universale del retrieval denso. Linkup lo descrive come un riferimento open con punti di forza e modalità di errore diversi: una forte corrispondenza lessicale, output leggibili e ricerca approssimata sotto il millisecondo, ma anche espansioni deboli per alcune entità e query numeriche. Il suo valore immediato consiste nel fornire ai team che si occupano di retrieval un modello sparso con licenza permissiva, da poter testare accanto alle alternative dense e a interazione tardiva in condizioni di addestramento simili.