Valutazione della sicurezza a quattro stati dei modelli linguistici di grandi dimensioni a pesi aperti su input non canonici

Abstract degli autori

Le valutazioni standard della sicurezza dei modelli linguistici di grandi dimensioni esaminano richieste dannose scritte in testo semplice e canonico, mentre i modelli impiegati nel mondo reale ricevono abitualmente input contenenti emoji, grafie alterate, stringhe codificate e variazioni a livello di carattere. Questo lavoro presenta l’Adversarial Surface-Form Robustness Dataset (ASRD), composto da 2.100 prompt appartenenti a sette diverse famiglie di forme superficiali. Cinque modelli linguistici a pesi aperti vengono valutati su questi prompt, producendo 10.500 risposte. La Quad-State Evaluation Rubric classifica ogni risposta in uno di quattro esiti: adesione a una richiesta dannosa, risposta sicura, mancata comprensione o esito indeterminato. Le variazioni con emoji e caratteri Unicode invisibili causano pochissimi casi di mancata comprensione: il tasso aggregato di adesione a richieste dannose è rispettivamente del 20,27% e del 17,20%, contro un valore di riferimento del 22,87%, dovuto principalmente a Mistral 7B. Le variazioni in leetspeak, i wrapper codificati e le trasformazioni ibride registrano invece tassi del 2,40%, 0,13% e 2,40%, mentre la mancata comprensione sale rispettivamente al 36,47%, 65,60% e 34,47%. L’esame delle risposte originali dei modelli rivela tre comportamenti: attribuzione allucinata di innocuità, collasso strutturale e deriva linguistica. Pagina del progetto: www.pavanmaddula.com/quadstate