Come ho allineato il tuo modello: ampliare l’addestramento alla sicurezza multilingue con i template

Abstract degli autori

L’allineamento alla sicurezza dei modelli linguistici di grandi dimensioni si concentra in larga misura sull’inglese, con una rappresentanza limitata delle altre lingue, a scapito soprattutto delle prestazioni nelle lingue con poche risorse. I dataset open source correlati, destinati all’addestramento, sono spesso limitati nelle dimensioni oppure non includono argomenti dannosi localizzati a livello regionale, necessari per estendere l’allineamento a culture diverse. Proponiamo una pipeline di aumento dei dati scalabile, basata su template, per produrre grandi corpora multilingui di rifiuti e contenuti benigni: la pipeline estrae template sicuri da prompt dannosi, li traduce e poi riempie gli slot con entità culturalmente autentiche, sia dannose sia benigne. Presentiamo così MSafeTemp, un corpus validato che copre 60 lingue, utile per l’allineamento alla sicurezza multilingue e la valutazione. Usando il dataset, mostriamo che una valutazione condotta solo in inglese valuta in modo errato la sicurezza multilingue: per diversi modelli, attacchi che falliscono in inglese riescono una volta tradotti, mentre le varianti localizzate sul piano culturale rivelano ulteriori vulnerabilità che la sola traduzione non permette di individuare. Confermiamo inoltre che ampliare i dati di addestramento alla sicurezza tramite template consente un maggiore livello di diversità e qualità dell’allineamento, migliorando le prestazioni in materia di sicurezza anche al di fuori dell’inglese. MSafeTemp e la relativa pipeline mirano a facilitare la ricerca e lo sviluppo di modelli più sicuri e responsabili per le culture meno rappresentate.