BanglaShield: un classificatore di sicurezza robusto rispetto al sistema di scrittura e benchmark per prompt in bengalese, in scrittura nativa, romanizzati e con code-mixing

Abstract degli autori

I classificatori di sicurezza per i modelli linguistici di grandi dimensioni (LLM) sono in genere sviluppati e valutati su testi scritti in una grafia standard; tuttavia, il bengalese, come molte lingue con meno risorse, viene comunemente scritto nella scrittura nativa, romanizzato in caratteri latini e mescolato all’inglese, all’hindi o all’urdu. Presentiamo BanglaShield, una risorsa e un modello per la classificazione graduata della sicurezza dei prompt in queste diverse forme scritte. Riuniamo 10.245 prompt in bengalese provenienti da sei fonti, organizzandoli secondo una tassonomia a quattro livelli (sicuro, offensivo, dannoso, grave) e rappresentando ciascun prompt in tre forme allineate, con le stesse etichette e una suddivisione che tiene conto dei gruppi, così da consentire confronti rigorosamente appaiati. Valutando sei LLM contemporanei, tra cui uno specializzato in bengalese, su 36.882 query di classificazione e 24.318 risposte sottoposte a giudizio, rileviamo che i classificatori basati su LLM etichettano come sicuro il 47,0% dei prompt non sicuri nella scrittura nativa; la percentuale sale al 63,4% con la romanizzazione, mentre l’accuratezza della sicurezza a livello di risposta cala di 10,3 punti. Anche tre modelli di guardia multilingui lasciano passare il 30,3–57,3% dei prompt non sicuri nella scrittura nativa. Usare la classificazione dello stesso modello come filtro in ingresso riduce la conformità a richieste dannose di appena circa cinque punti. Al contrario, BanglaShield, un encoder compatto sottoposto a fine-tuning, raggiunge un macro-F1 di 87,8 sui prompt nella scrittura nativa e di 84,4 su quelli romanizzati, superando di 42,8–46,1 punti il miglior LLM per ciascuna forma, con circa 130 volte meno parametri di Gemma 4 31B. Rendiamo disponibili il corpus, le suddivisioni, i giudizi e il modello.