Segui il gradiente: risalire ai dati di addestramento all’origine del deterioramento della sicurezza

Abstract degli autori

Il fine-tuning dei modelli linguistici di grandi dimensioni (LLM) su dati di addestramento basati su istruzioni può eroderne silenziosamente la sicurezza, anche quando nessun esempio di addestramento sembra dannoso. Poiché questi dati che compromettono la sicurezza appaiono innocui, i filtri standard per i contenuti faticano a individuarli. Affrontiamo il problema sviluppando SimpleLoRIF, un metodo scalabile di embedding dei gradienti che individua gli esempi di fine-tuning i cui gradienti si allineano con comportamenti non sicuri. Semplificando un metodo di attribuzione a basso rango e limitando la retropropagazione agli ultimi quattro blocchi transformer, SimpleLoRIF può generare embedding per dataset dell’ordine di un milione di esempi, trasformando l’attribuzione dei gradienti da strumento di analisi su piccola scala a filtro pratico per interi dataset di post-addestramento. Per prima cosa lo convalidiamo sul disallineamento emergente, dove scopriamo che i gradienti possono collegare i dati di addestramento su codice insicuro ai comportamenti ampiamente dannosi che emergono dopo il fine-tuning, con un’AUC fino a 0,865 nello spazio dei gradienti dei modelli disallineati. Usiamo poi SimpleLoRIF per creare SafeTulu, una versione di Tulu 3 da cui è stato rimosso il 20% degli esempi con il maggiore allineamento dei gradienti alle risposte non sicure. L’addestramento su SafeTulu riduce fino al 22% il tasso di successo degli attacchi GCG su Qwen, Llama e Olmo, superando sia LLM-as-a-judge sia i precedenti metodi di filtraggio basati sui gradienti, e preservando in larga misura le capacità o persino migliorandole. Infine, abbiamo analizzato i dati rimossi e individuato possibili fonti di deterioramento della sicurezza poco studiate, come gli errori nell’esecuzione degli strumenti e l’aritmetica narrativa. Rilasciamo SafeTulu insieme a un Hugging Face Space che consente ai ricercatori di creare versioni personalizzate di SafeTulu su cui fare fine-tuning, per esempio modificando la percentuale di rimozione o filtrando solo determinati sottoinsiemi.