Stima pratica del compromesso ottimale di Bayes tra equità e accuratezza con etichette soft

Abstract degli autori

Esiste un limite fondamentale all’errore di predizione minimo di qualsiasi modello per una data distribuzione dei dati. Nella classificazione, l’errore di Bayes quantifica questo limite e funge sia da benchmark per i modelli addestrati sia da criterio per rilevare l’overfitting. Le tecniche all’avanguardia per stimare l’errore di Bayes nella classificazione binaria utilizzano solo etichette soft (probabilità della classe positiva) e non richiedono né caratteristiche di input né addestramento ausiliario. Estendiamo queste nozioni ai problemi di classificazione vincolata, come quelli relativi all’equità. La classificazione equa è un caso importante di classificazione vincolata o con più obiettivi. Richiede che un modello non sia solo accurato, ma produca anche risultati equi (tassi di veri positivi uguali o quasi uguali) tra diversi gruppi demografici (per esempio, razza e genere). Ne deriva un compromesso intrinseco tra equità e accuratezza, o una frontiera di Pareto, utilizzata per confrontare tra loro i classificatori equi. Il nostro lavoro si concentra sulla stima del limite fondamentale di questo compromesso. Ricaviamo un’espressione esplicita del tasso di errore di Bayes equo (ovvero il miglior tasso di errore ottenibile nel rispetto di determinati vincoli di equità) e costruiamo stimatori consistenti che non richiedono istanze, utilizzando solo etichette soft e informazioni sui gruppi. Dimostriamo che è possibile porre limiti al bias e alla complessità campionaria dei nostri stimatori. Sul piano empirico, il nostro metodo produce una stima robusta e a bassa varianza della curva ottimale del compromesso tra equità e accuratezza, anche quando le etichette soft sono rumorose e derivano da un modello di classificazione basato su etichette hard.