A framework for benchmarking discrimination-aware models in machine learning

Abstract

Nos últimos anos, o campo de pesquisa de aprendizado de máquina ciente de discriminação vem firmemente se desenvolvendo. É considerado um tópico importante pois há evidências que decisões automáticas feitas por tais modelos podem apresentar viés contra certos grupos e podem gerar implicações legais. Muitas técnicas para reduzir viés de processos de aprendizado foram propostas, cada uma com suas vantagens e desvantagens. Apesar de aparentemente este campo de pesquisa já estar bem desenvolvido devido a este possuir muitas métricas de validação e técnicas, ainda há demanda de conjuntos de dados para validação. Com a meta de melhorar o processo de avaliar a qualidade das técnicas, nós propomos um arcabouço para medir qualidade de modelos cientes de discriminação. Também mostramos três maneiras de gerar dados de validação para estes modelos em uma abordagem baseada em Redes Bayesianas. Nossos experimentos mostram resultados promissores que podem ajudar pesquisadores a desenvolverem suas técnicas.