SpecMRL: riprogettare Matryoshka Representation Learning nello spettro parametrico

Abstract degli autori

Matryoshka Representation Learning (MRL) è progettato per supportare rappresentazioni di dimensioni flessibili ottimizzando congiuntamente prefissi annidati. Pur essendo efficace, questo approccio non prevede un vincolo esplicito che garantisca che la porzione iniziale costituisca una codifica compatta adeguata. Per affrontare questo limite, proponiamo SpecMRL, che riorganizza lo spazio delle caratteristiche per consentire una lettura più efficace dei prefissi. In particolare, estendiamo MRL con una base spettrale derivata dai parametri e organizzata in base all’importanza delle caratteristiche. Per il resto, SpecMRL segue l’approccio standard di MRL, effettuando la lettura dei prefissi nello spazio spettrale appreso. Gli esperimenti su MTEB mostrano che SpecMRL supera MRL a tutte le dimensionalità ridotte valutate, con vantaggi maggiori quando la compressione è più spinta. Questi risultati suggeriscono che la base spettrale appresa dia maggiore priorità alle direzioni informative, consentendo una compressione più efficace delle rappresentazioni. In particolare, SpecMRL sposta in avanti la frontiera delle prestazioni di MRL, superando MRL a dimensionalità piena con appena metà delle dimensioni degli embedding.