Axis-LoRA: esplorazione e adattamento dei modelli di embedding per il recupero dei ricordi personali

Abstract degli autori

Man mano che agli LLM vengono poste sempre più domande sulle esperienze personali di un utente, i sistemi di recupero devono distinguere i ricordi in base al tempo, al luogo, alla persona e all’evento. Le attuali pipeline per la memoria personale si affidano a modelli densi di embedding con parametri congelati per generare embedding dei ricordi e recuperarli, ma abbiamo constatato che questi modelli non rappresentano bene i quattro assi. Cambiare la data o il luogo di un ricordo modifica appena il suo embedding, e una proiezione addestrata applicata all’embedding congelato non recupera il segnale mancante. Il problema risiede all’interno del modello, dove ciascun asse è codificato da uno schema distinto di teste di attenzione. Sulla base di questi risultati, proponiamo Axis-LoRA, un adattatore per asse che inserisce quattro rami LoRA all’interno del modello di embedding e li combina tramite un gate specifico per ciascuna query. Sui tre modelli standard di embedding valutati con LongMemEval, ATM-Bench e LoCoMo, Axis-LoRA migliora la media di R@10 sui 4 benchmark da $+1.28$ a $+1.56$~pp, addestrando solo una piccola frazione dei parametri del modello di base su un piccolo set di addestramento controfattuale per asse. Il codice è disponibile su https://github.com/dohoonkim-ai/axis-lora.