The Pulse
SpecMRL migliora i punteggi MTEB con embedding di dimensioni dimezzate
SpecMRL registra su Qwen3-0.6B un punteggio MTEB in inglese superiore a quello dell’MRL standard con metà delle dimensioni degli embedding, anche se il suo punteggio a dimensione piena è leggermente inferiore. L’articolo riporta inoltre una
AI.info Team · Scritto con l’IA · verificato ·
Un punteggio migliore con metà delle dimensioni, ma non a dimensione piena
Un nuovo metodo per gli embedding registra un punteggio MTEB in inglese migliore con metà delle dimensioni rispetto al metodo standard usato come termine di confronto, ma resta leggermente indietro quando entrambi usano il vettore completo. I ricercatori dietro SpecMRL affermano che il loro approccio migliora Matryoshka Representation Learning (MRL) a tutte le dimensioni ridotte che hanno testato, con vantaggi maggiori ai livelli di compressione più elevati. Il lavoro è apparso come preprint su arXiv il 19 ottobre 2026.
Su Qwen3-0.6B, con metà delle 1.024 dimensioni originali, il punteggio MTEB medio riportato nell’articolo sale da 60,54 con l’MRL standard a 61,61 con SpecMRL. A dimensione piena, i risultati sono 60,97 per MRL e 60,94 per SpecMRL. A un sedicesimo delle dimensioni, SpecMRL ottiene 58,53 contro 54,73 di MRL, uno scarto di 3,80 punti. Il risultato principale riguarda quindi le configurazioni compresse, non un miglioramento uniforme a tutte le dimensioni.
«In particolare, SpecMRL amplia la frontiera delle prestazioni di MRL, superando MRL a dimensione piena con appena metà delle dimensioni degli embedding».
scrivono Zhongxin Chen, Songhao Wu, Heng Cui, Cong Li, Xiao Zhou e Rui Yan, autori dell’articolo
Riordinare le dimensioni prima del troncamento
MRL addestra gli embedding affinché le porzioni iniziali dei vettori possano fungere da rappresentazioni più piccole. SpecMRL cambia il sistema di coordinate usato da queste porzioni: ricava una base spettrale ordinata da una matrice di proiezione appresa, poi legge l’embedding in quella base. L’idea è collocare prima le direzioni delle caratteristiche più utili, così da perdere meno informazioni quando si elimina il resto.
Gli autori descrivono il metodo come una modifica dell’attuale configurazione di addestramento di MRL, non come una sostituzione del suo obiettivo. Approssimano la base spettrale con una procedura di iterazione delle potenze e riportano un throughput durante l’addestramento paragonabile a quello dell’MRL standard. Una volta terminato l’addestramento, la base resta fissa; la codifica applica una proiezione prima che il vettore venga memorizzato o usato nella ricerca.
Un test di velocità su un milione di passaggi di MS MARCO
L’articolo misura separatamente la ricerca usando un milione di passaggi di MS MARCO: 8.192 passaggi sono selezionati come query e i restanti costituiscono il database. Il test usa la ricerca esatta per prodotto scalare di FAISS in FP32 su una singola GPU NVIDIA A100 PCIe, con gli indici mantenuti nella memoria della GPU. Con un batch di 1.024 query, i vettori di dimensioni dimezzate raggiungono 14.605 query al secondo, contro 7.859 per i vettori a dimensione piena: un’accelerazione dichiarata di 1,86×.
Questo dato sulla velocità proviene da una specifica GPU, da un determinato metodo di ricerca e da una certa dimensione del batch, non da un benchmark generale in condizioni d’uso reali. Secondo l’articolo, la codifica di 100.000 passaggi richiede 313,99 secondi con SpecMRL contro 312,85 secondi con MRL, un aumento dello 0,36% che include la proiezione aggiuntiva. Con un batch di dimensione uno, l’accelerazione della ricerca con vettori di dimensioni dimezzate è inferiore: 1,26×.
Che cosa mostra la valutazione, e che cosa no
I risultati principali sono la media dei punteggi ottenuti sui 56 dataset e nelle sette categorie di attività del benchmark MTEB in inglese, tra cui ricerca, clustering e similarità semantica. Gli autori riportano anche una valutazione di Qwen3 da 4B parametri, in cui il punteggio di SpecMRL supera quello di MRL a diverse dimensioni ridotte; a 2.560 dimensioni, tuttavia, ottiene 64,29 contro 64,71 di MRL. I risultati riportati provengono da un preprint e le prove presentate dagli autori si basano su benchmark, non su un confronto tra servizi di ricerca in funzione.
Per i team che valutano il rapporto tra lo spazio necessario a memorizzare gli embedding e il throughput della ricerca, l’articolo riporta un punteggio MTEB medio superiore a quello dell’MRL a dimensione piena nella configurazione Qwen3-0.6B con dimensioni dimezzate. Separatamente, il test di ricerca registra un miglioramento del throughput di 1,86× per i vettori di dimensioni dimezzate con un batch di 1.024 query, nelle condizioni indicate per la A100.