Disapprendimento esatto tramite statistiche sufficienti quantizzate

Abstract degli autori

Il disapprendimento esatto richiede che un predittore in uso coincida con uno ricostruito senza le informazioni indicate in una richiesta di cancellazione. I metodi esatti di uso generale esistenti limitano il riaddestramento a partizioni disgiunte, ma ogni richiesta rende comunque necessario ricostruire un modello, e partizioni più piccole riducono i dati disponibili per ciascun predittore che lo compone. Introduciamo Quantized Sufficient Statistics (QSS), che separa uno schema piccolo e fisso da un contenuto modificabile e scomponibile in somme. Lo schema apprende la struttura globale; il contenuto memorizza correzioni locali delle predizioni sotto forma di statistiche additive indicizzate per regioni quantizzate. Cancellare il contenuto equivale quindi a una sottrazione esatta, anziché a un’ottimizzazione. Distinguiamo due garanzie: QSS-L rimuove esattamente un’etichetta conservando l’input senza etichetta, mentre QSS-E rimuove esattamente sia l’input sia l’etichetta apprendendo lo schema senza esempi soggetti a cancellazione. Una cancellazione segue il percorso aritmetico rapido con probabilità $1-ρ$ e richiede una ricostruzione completa con probabilità $ρ$; tutte le latenze attese riportate tengono conto di entrambi i casi. Su 15 dataset di immagini, testo e dati tabellari, con $ρ=0.5\%$, QSS-L si discosta da SISA di non più di 2 punti percentuali in 11 compiti e offre una latenza attesa di cancellazione inferiore di 4--483$\times$ nei compiti con poche classi, dove uno schema compatto è efficace. QSS-E quantifica l’ulteriore costo in termini di accuratezza dell’eliminazione di ogni traccia di un input.