Quando il valore dei dati si riduce al bilanciamento delle classi? Una prospettiva basata sulla copertura per valutare il valore dei singoli dati

Abstract degli autori

I punteggi che attribuiscono un valore a ciascun dato — Data Shapley, influenza, leverage — vengono usati abitualmente per selezionare i dati di addestramento: si conservano i $k$ dati con i punteggi più alti. Sosteniamo che selezionare i primi $k$ in base a un punteggio fisso per singolo dato, che non tiene conto delle modalità, sia la regola sbagliata proprio nelle situazioni in cui la selezione dei dati conta. Il motivo è che il valore di un dato non è un numero fisso, ma dipende da ciò che è già stato selezionato: un dato quasi identico a uno già scelto aggiunge pochissimo, per quanto alto sia il suo punteggio. Un singolo valore numerico attribuito a ciascun dato non può esprimere questa interazione. La teoria quantifica esattamente questo limite: in un modello con modalità latenti di uguale dimensione, la selezione fissa dei primi $k$ comporta un rischio in eccesso, esprimibile in forma chiusa, rispetto alla copertura adattiva, perché impiega ripetutamente il budget su modalità già coperte. Il divario è massimo quando il budget è limitato, la rappresentazione usata dal modello è ridondante e non coprire una modalità ha un costo elevato. La regola pratica è semplice: usare il bilanciamento quando le etichette disponibili al momento della selezione identificano le modalità del modello, e la copertura esplicita quando non le identificano. Nei compiti standard di classificazione con caratteristiche preaddestrate efficaci, bilanciare per classe la selezione basata sugli stessi punteggi per singolo dato recupera la copertura mancante e, nei nostri dataset, eguaglia o supera la copertura generica degli insiemi. Senza etichette, la copertura che non le utilizza migliora l’accuratezza fino a +0,20, mentre la selezione grezza dei primi $k$ può ottenere risultati inferiori alla selezione casuale; quando le etichette sono meno granulari delle modalità, la copertura all’interno degli strati definiti da tali etichette dà i risultati migliori. Trasformiamo questa distinzione in un criterio diagnostico prestabilito e lo convalidiamo sia in condizioni favorevoli sia in condizioni di stress test. Anche i limiti fanno parte della tesi: il vantaggio dipende dalla rappresentazione. La copertura fallisce quando le modalità rilevanti non sono espresse nella geometria del modello, come nel caso dei sottogruppi spurî, o quando la qualità dei dati varia indipendentemente dalla copertura: esattamente ciò che prevede la teoria.