Entropia morale: verifica dei bias e dell’incertezza nel giudizio morale

Abstract degli autori

La maggior parte degli studi sull’etica computazionale tratta il disaccordo tra annotatori sui contenuti morali come rumore da eliminare con il voto, riconducendolo al voto a maggioranza o alla più permissiva regola del singolo annotatore non appena anche un solo annotatore segnala un elemento. Sosteniamo invece che questa incertezza debba essere modellata e che si debba imparare da essa. Presentiamo Moral Entropy, un framework bayesiano che mantiene una distribuzione a posteriori completa sull’etichetta vera e scompone la relativa entropia in incertezza aleatoria (disaccordo irriducibile sul contenuto morale) e incertezza epistemica (dovuta ad annotazioni insufficienti o rumorose), consentendo di verificare qualsiasi regola euristica di consenso rispetto a una verità di riferimento calibrata, con metodi basati sull’entropia come cross-entropia/KL, Brier score ed errore di calibrazione atteso. Su tre corpora e quindici domini discorsivi, la verifica delle regole standard di aggregazione rispetto a questa distribuzione a posteriori rivela bias che nessuna pipeline attuale segnala: nel complesso, la regola del singolo annotatore è in disaccordo con la distribuzione a posteriori calibrata per circa il 30% degli elementi, e quasi tutti questi casi sono falsi positivi; a livello delle fondazioni morali, però, gli errori si invertono (FPR/FNR medi del 19,9%/38,9% su MFTC). Le regole più rigide, quella del voto a maggioranza e quella dei due voti, non individuano il 63–83% dei veri positivi.