Dalla riponderazione alla riscrittura: sfruttare gli effetti degli interventi sugli esempi influenti nell’attribuzione dei dati di addestramento

Abstract degli autori

L’attribuzione dei dati di addestramento (TDA) mira a individuare gli esempi di addestramento che plasmano il comportamento di un modello, ma il valore degli interventi dipende sia dagli esempi selezionati sia dal modo in cui vengono modificati. Le funzioni di influenza (IF) stimano i cambiamenti nel comportamento prodotti da una riponderazione infinitesimale; tuttavia, negli interventi convenzionali basati sui pesi, gli esempi selezionati tramite IF mostrano spesso vantaggi limitati rispetto a una selezione casuale. Ci si chiede quindi se gli esempi influenti abbiano scarso valore per gli interventi o se sia la riponderazione a non sfruttarne il potenziale di modifica del comportamento. Introduciamo la riscrittura delle risposte guidata dall’influenza: usiamo le IF per individuare gli esempi su cui intervenire e ne sostituiamo le risposte con risposte che, durante l’addestramento, orientano il comportamento nella direzione desiderata o in quella opposta, mantenendo invariate le istruzioni. Su quattro LLM a pesi aperti, confrontiamo riscrittura e riponderazione applicate agli stessi esempi selezionati in base all’influenza, usando l’astensione epistemica come principale banco di prova. La riscrittura delle risposte produce cambiamenti nel comportamento più marcati, più persistenti e in entrambe le direzioni, mentre la riponderazione degli stessi esempi ha effetti deboli e incoerenti. Ulteriori analisi mostrano che gli esempi selezionati in base all’influenza offrono un potenziale di modifica tramite riscrittura maggiore rispetto agli esempi scelti con altri metodi, e che i cambiamenti restano concentrati sui comportamenti pertinenti all’obiettivo. Lo stesso contrasto qualitativo si osserva anche nel rifiuto per motivi di sicurezza. Questi risultati distinguono gli effetti locali della riponderazione, rilevati dalle stime di influenza, dal più ampio potenziale di intervento offerto dagli esempi che tali stime individuano, e indicano l’utilità di valutare i metodi di TDA tenendo conto degli interventi.