AK_QMUL nelle prove condivise di ArGuard: un unico JAIS sottoposto a fine-tuning per rilevare i prompt dannosi in arabo

Abstract degli autori

Presentiamo le soluzioni di AK_QMUL per le prove condivise ArGuard-2026 sul rilevamento dei prompt dannosi in arabo: una prova binaria per distinguere i prompt sicuri da quelli non sicuri (B1) e una prova di classificazione in sette categorie di danno (B2). Entrambe le soluzioni usano la stessa architettura di base: JAIS-6.7B, sottoposto a fine-tuning con QLoRA a 4 bit e dotato di una testa di classificazione lineare applicata alla rappresentazione dell’ultimo token. Per B1 addestriamo una testa a quattro classi che suddivide l’etichetta in base al registro dialettale, {sicuro, non sicuro} × {MSA, altro}; integriamo la porzione di addestramento con prompt in MSA provenienti da AraSafe e usiamo un semplice argmax per assegnare l’etichetta sicuro o non sicuro. Per B2 sottoponiamo la stessa architettura di base a fine-tuning come classificatore a sette classi e calcoliamo la media degli output softmax ottenuti con cinque seed casuali. Entrambe le soluzioni si sono classificate prime nelle rispettive prove, con un macro-F1 di 0,984 per B1 e di 0,790 per B2. Riportiamo i risultati per dialetto e per classe: in B1 il modello è accurato in tutti e sei i dialetti (93,6–99,8%) e la quota prevista di prompt non sicuri segue da vicino quella reale; in B2 sei delle sette classi raggiungono un F1 compreso tra 0,73 e 0,98, mentre l’errore residuo si concentra nella classe Bully, che presenta sovrapposizioni semantiche con le molestie e i danni ad altre persone.