MemoryAthena: instradamento adattivo tra memorie latenti e generate

Abstract degli autori

I metodi basati su memoria appresa archiviano le informazioni in una tabella esplicita e le utilizzano tramite un lettore separato, consentendo di modificare in modo indipendente l’indirizzamento, l’archiviazione e la lettura. Studiamo se sia possibile anche generare una memoria utile, anziché limitarsi a recuperarla. MemoryAthena utilizza tre percorsi: il recupero diretto da Engram (E), la generazione a partire da indizi Engram recuperati (GE) e la generazione dagli stati causali del backbone senza consultare la tabella di memoria (GH). La memoria generata è utile in modo condizionale: in un contesto può integrare E, ma in un altro può interferire con esso. MemoryAthena considera quindi E un punto di riferimento e apprende quando una rappresentazione generata debba intervenire. Mantenendo congelati il backbone, la memoria, i generatori e i lettori, si addestra una leggera testa di instradamento causale sulla base dei vantaggi in termini di verosimiglianza dei token futuri di GE e GH rispetto a E, stimati controfattualmente. In fase di inferenza, un candidato ammesso modifica il residuo di E tramite un’interpolazione limitata, mentre il rifiuto ripristina esattamente il percorso diretto. Nel question answering, MemoryAthena porta la media sui cinque task da 37,65 a 39,28 rispetto al percorso diretto dello stesso checkpoint, mentre la media sui sei task di NLP generale sale da 76,73 a 79,13. Il sistema completo sul versante della memoria contiene circa 201 milioni di parametri, escluso il backbone congelato. Ulteriori analisi mostrano che E, GE e GH presentano punti di forza complementari a seconda dei task e degli input. Questi risultati indicano che la memoria generata può fungere da correzione selettiva al recupero diretto e mettono in luce che la sfida centrale consiste nell’indirizzare quando intervenire, quale rappresentazione scegliere e con quale intensità farlo.