Punti ciechi della sicurezza globale: la traduzione come mezzo per aggirare le misure di sicurezza nelle lingue con poche risorse

Abstract degli autori

I modelli linguistici di grandi dimensioni sono impiegati in tutto il mondo, ma l’allineamento e la valutazione della sicurezza restano concentrati sull’inglese: richieste dannose respinte in inglese possono ottenere risposte non sicure se tradotte in lingue con poche risorse. Valutiamo dieci LLM ampiamente utilizzati in 79 lingue (l’inglese più 78 lingue con poche risorse) secondo un modello di minaccia basato sull’aggiramento tramite traduzione. Usiamo una metrica condizionata alla sicurezza in inglese, che distingue questo tipo di aggiramento dalla mancanza di sicurezza già presente in inglese. La sicurezza in inglese non si trasferisce in modo affidabile: considerando solo i completamenti sicuri in inglese, i tassi medi di aggiramento vanno dal 21,9% al 44,4%. Il rischio di aggiramento si concentra in un sottoinsieme di famiglie linguistiche, secondo uno schema ampiamente condiviso tra i modelli. L’ordine comune è influenzato dalla degenerazione della traduzione, ma la sua variazione tra modelli è significativa e persiste con tutti i controlli che applichiamo. Mostriamo inoltre che i tassi di aggiramento dei singoli modelli non individuano una graduatoria stabile: nove modelli su dieci cambiano posizione passando tra tre schemi di condizionamento che stimano la stessa quantità, senza che cambi alcuna delle risposte su cui si basano.