DynEdit: modifica sequenziale dinamica guidata dall’entropia per i modelli linguistici di grandi dimensioni

Abstract degli autori

La modifica delle conoscenze mira ad aggiornare, nei modelli linguistici di grandi dimensioni, le informazioni obsolete o errate senza riaddestrarli completamente. I metodi esistenti che intervengono sui parametri restano limitati quando le conoscenze sono espresse in sequenze lunghe: quelli che modificano un solo punto non coprono a sufficienza i contenuti bersaglio estesi, mentre quelli basati su blocchi fissi distribuiscono lo sforzo di modifica in modo uniforme tra finestre rigide predefinite, senza dare priorità ai token più difficili e densi di informazioni. In questo lavoro mostriamo che l’entropia dei token è strettamente associata sia alla difficoltà della modifica sia all’importanza semantica: le regioni ad alta entropia sono più difficili da modificare e spesso contengono informazioni fattuali essenziali. Sulla base di questa osservazione, proponiamo DynEdit, un framework dinamico per modificare le conoscenze espresse in sequenze lunghe. DynEdit usa l’entropia a livello di token per guidare uno scorrimento non uniforme delle finestre, aumentando la copertura delle regioni ad alta entropia più difficili, e applica inoltre un’ottimizzazione a livello di token guidata dall’entropia per rafforzare gli aggiornamenti dei token più densi di informazioni all’interno di ciascuna finestra di modifica. Esperimenti condotti su tre benchmark e due modelli di base mostrano che DynEdit supera sistematicamente metodi di riferimento competitivi in diversi scenari di modifica di testi lunghi, con miglioramenti fino a +14,0 punti BLEU su difficili richieste di parafrasi e punteggi semantici prossimi alla saturazione in diversi ambiti di conoscenza.