Modelli linguistici addestrati in modo identico cedono a jailbreak diversi

Abstract degli autori

I benchmark sui jailbreak testano un singolo checkpoint e trattano i jailbreak a cui cede come una caratteristica dei suoi dati di pretraining e del suo addestramento di sicurezza. Ci chiediamo se un’altra esecuzione del pretraining sugli stessi dati, seguita dallo stesso addestramento di sicurezza, cederebbe agli stessi jailbreak. Per ciascuna delle 25 configurazioni dei dati di pretraining, prendiamo modelli base da 1B addestrati con 3 seed di pretraining e sottoponiamo ciascuno allo stesso post-training di sicurezza, usando 2 seed di post-training, per un totale di 150 modelli. Raccogliamo quindi 20 risposte da ogni modello a un insieme condiviso di prompt di jailbreak e calcoliamo la correlazione tra i tassi di mancato rifiuto per ciascun prompt per ogni coppia di modelli. In media, due copie sottoposte a post-training della stessa esecuzione del pretraining hanno tassi di mancato rifiuto per prompt con una correlazione pari a 0,984. Un seed di pretraining diverso riduce la correlazione a 0,811, mentre una diversa configurazione dei dati la abbassa solo leggermente, a 0,779. Questi risultati indicano che i jailbreak a cui cede un checkpoint dipendono molto più dalla sua esecuzione del pretraining che dai suoi dati; questo schema si osserva in tutte e 25 le configurazioni dei dati e con 150M e 300M parametri. In pratica, il migliore dei 91 template di attacco individuati su un checkpoint resta il migliore dopo un nuovo seed di pretraining solo nel 27% delle coppie di modelli, rispetto al 67% dopo un nuovo seed di post-training. Ogni esecuzione del pretraining lascia anche un’impronta digitale: su 3.211 prompt, i tassi di mancato rifiuto per prompt di un modello permettono ogni volta di identificare la sua esecuzione del pretraining tra tutte le 75 esecuzioni; anche un sottoinsieme casuale di 50 prompt lo consente nel 98% dei casi.