Quanto è fragile la sicurezza dei modelli linguistici eseguiti sui dispositivi? Localizzazione dei parametri critici per la sicurezza per l’analisi dei guasti sparsi

Abstract degli autori

Con la crescente diffusione dei modelli linguistici di piccole dimensioni (SLM) su piattaforme con risorse limitate e direttamente sui dispositivi, anche come componenti di sistemi agentici, l’integrità dei parametri del modello memorizzati localmente diventa un’importante questione di sicurezza. Esaminiamo se, in LLaMA-2-7B-Chat, i comportamenti rilevanti per la sicurezza siano concentrati in un sottoinsieme sparso di parametri, creando una superficie di guasto ridotta per un’analisi mirata. Studiamo due metodi complementari di localizzazione: l’analisi di sottospazi di basso rango associati alla sicurezza e il filtraggio dei parametri in base alla loro importanza per la sicurezza e l’utilità. Entrambi rivelano che la sensibilità della rete alla sicurezza è molto disomogenea: down_proj dell’MLP emerge sistematicamente come componente particolarmente sensibile, mentre il contributo di o_proj è minore. Con la localizzazione a livello dei parametri, la modifica di appena lo 0,19% dei pesi del modello in down_proj produce un Basic ASR del 53% e un GCG ASR del 56%, mentre l’accuratezza su tinyBenchmarks resta al 51,6%, rispetto al 52,2% del modello non modificato usato come riferimento. Questi risultati motivano un’analisi mirata dei guasti e una protezione selettiva dell’integrità dei modelli linguistici impiegati in contesti con risorse limitate, sui dispositivi e in sistemi agentici.