Disapprendimento approssimato a livello di singolo campione con limiti dimostrabili per ciascun campione

Abstract degli autori

Il machine unlearning mira a cancellare l’influenza di un insieme designato da dimenticare da un modello addestrato, preservando al contempo prestazioni elevate sull’insieme da mantenere. I metodi approssimati di machine unlearning raggiungono questo obiettivo in modo efficiente, senza riaddestrare completamente il modello, ma la loro efficacia viene valutata soprattutto tramite metriche aggregate a livello di dataset. Queste metriche aggregate possono nascondere scostamenti rispetto al riaddestramento a livello dei singoli campioni. In questo lavoro ci concentriamo sull’efficacia del machine unlearning per singolo campione. Introduciamo SALA (Sample-grained Likelihoods ALignment), un framework di ottimizzazione plug-in che consente ai metodi approssimati di machine unlearning di operare a livello dei singoli campioni, indirizzando ciascun esempio verso la corretta distribuzione obiettivo. Per valutare quantitativamente questo comportamento, proponiamo inoltre il divario di distribuzione a livello di singolo campione, una metrica che rileva le discrepanze, per ciascun campione, tra le distribuzioni di output del machine unlearning approssimato e del riaddestramento esatto. Forniamo garanzie teoriche che mostrano come SALA riduca questo divario e limiti la discrepanza per singolo campione rispetto al riaddestramento. Per rendere pratico questo framework, sviluppiamo un metodo a basso costo per stimare le distribuzioni obiettivo dei membri e dei non membri. Esperimenti su larga scala su compiti di classificazione e generazione dimostrano che, in combinazione con le baseline esistenti di machine unlearning approssimato, SALA riduce il divario di distribuzione a livello di singolo campione fino a $86.67\%$, migliorando anche la robustezza rispetto agli iperparametri del machine unlearning.