Ridurre l’interferenza rappresentazionale negli embedding per il recupero con token prefisso addestrabili

Abstract degli autori

I modelli di embedding comprimono testi di lunghezza variabile in rappresentazioni vettoriali di dimensione fissa, ma questa compressione può intrecciare il contenuto semantico con informazioni residue a livello di token, come gli artefatti dovuti al comportamento di attention sink. Proponiamo un metodo semplice che antepone token [DUMP] addestrabili all’input durante l’addestramento del modello di embedding. Il metodo mantiene invariati l’architettura del modello, la strategia di pooling e la funzione di perdita dell’addestramento, ottimizzando i token aggiunti attraverso il consueto obiettivo contrastivo per il recupero. Introducendo posizioni di prefisso addestrabili che interagiscono con i token normali durante la codifica, i token [DUMP] contribuiscono a ridurre l’influenza di segnali residui o privi di informazioni a livello di token sulla rappresentazione finale per il recupero. Gli esperimenti su benchmark standard per il recupero e per il contesto lungo mostrano che il nostro metodo migliora con costanza i risultati delle baseline sottoposte a fine-tuning, sia per i modelli di embedding basati su encoder sia per quelli basati su decoder. Ulteriori analisi mostrano che i token [DUMP] modificano i pattern di attivazione e di attenzione a livello di token associati ai token con poche informazioni. Questi risultati suggeriscono che i token prefisso addestrabili offrono un modo leggero per migliorare le rappresentazioni per il recupero.