Cortex: consolidare il contesto nella memoria parametrica

Abstract degli autori

Il contesto può migliorare le prestazioni dei modelli linguistici di grandi dimensioni, ma i benefici possono andare perduti quando viene rimosso. Ispirandoci al consolidamento dei sistemi biologici, definiamo il consolidamento della memoria (MC) come l’internalizzazione di questi benefici senza compromettere le capacità non interessate dall’intervento. Questa definizione riunisce sotto un obiettivo comune la modifica dei modelli specificata dal contesto, l’apprendimento di abilità e l’orientamento del comportamento. Introduciamo un banco di prova con cinque famiglie di compiti che misura il consolidamento e il mantenimento delle capacità in presenza di aggiornamenti singoli, in batch e sequenziali. Proponiamo Cortex, che genera query prospettiche per anticipare gli usi del contesto e distilla gli output prodotti in presenza del contesto in aggiornamenti delle reti feed-forward, a basso rango o strutturali, che possono essere combinati. Su backbone densi e mixture-of-experts da 4B a 120B, comprendenti modelli sia solo testuali sia multimodali, Cortex si colloca sulla frontiera di Pareto empirica tra consolidamento e mantenimento delle capacità nella maggior parte delle configurazioni valutate. Dopo 50 modifiche fattuali sequenziali su un modello 14B, Cortex-Structural recupera l’88,9% del miglioramento indotto dal contesto, mantenendo il 99,8% delle prestazioni originarie nelle attività non interessate dalle modifiche.