Addestramento avversario contrastivo per reti neurali su grafi robuste all’avvelenamento delle etichette

Abstract degli autori

Le reti neurali su grafi (GNN) sono efficaci nel modellare dati relazionali, ma sono vulnerabili all’avvelenamento delle etichette: un piccolo numero di etichette di addestramento corrotte può propagare errori attraverso il grafo tramite il passaggio di messaggi. Nonostante questo rischio, le difese contro l’avvelenamento delle etichette restano poco studiate. I metodi esistenti sono progettati soprattutto per il rumore nelle etichette e spesso si affidano a funzioni di perdita robuste o a procedure euristiche di pulizia dei dati, che non riescono a distinguere l’avvelenamento avversario dagli esempi intrinsecamente difficili. In questo articolo proponiamo CoLAT (Contrastive Label-flipping for Adversarial Training), un nuovo approccio di addestramento avversario contrastivo pensato per rendere robusta la classificazione dei nodi nei grafi. Al centro dell’approccio c’è un modello di rilevamento che tiene conto della struttura e usa l’apprendimento contrastivo per individuare le incoerenze tra etichette e struttura. A differenza dei precedenti metodi contrastivi, incentrati sull’apprendimento delle rappresentazioni, CoLAT sfrutta gli embedding contrastivi per selezionare i nodi ad alto rischio che guidano l’inversione avversaria delle etichette durante l’addestramento. Questa ottimizzazione alternata non solo realizza un addestramento avversario che tiene conto della struttura, ma bonifica anche implicitamente alcune etichette corrotte, migliorando la robustezza contro diversi attacchi descritti in letteratura. Esperimenti approfonditi su più benchmark mostrano che CoLAT supera sistematicamente le difese esistenti a diversi livelli di intensità dell’avvelenamento e scala in modo efficiente anche su grafi di grandi dimensioni.