A framework for benchmarking discrimination-aware models in machine learning
Carregando...
Data
Autor(es)
Título da Revista
ISSN da Revista
Título de Volume
Editor
Universidade Federal de Minas Gerais
Descrição
Tipo
Dissertação de mestrado
Título alternativo
Uma estrutura para avaliação comparativa de modelos com reconhecimento de discriminação em aprendizado de máquina
Primeiro orientador
Membros da banca
Pedro Olmo Stancioli Vaz de Melo
Pedro Olmo Stancioli Vaz de Melo
Pedro Olmo Stancioli Vaz de Melo
Resumo
Discrimination-aware machine learning has been steadily improving in the last few years. It is considered an important topic of research since it has been observed that automatic decisions made by machine learning models may present some bias against certain groups, which may have legal implications. A number of techniques aimed at reducing bias of the learning process have already been proposed, each one with different advantages and drawbacks. Although it appears that this field is well developed by having many metrics of evaluation and techniques, it still lacks on assessment. With the objective of improving the process of assessing the quality of a technique, we propose a novel framework for benchmarking discrimination-aware models. We also introduce three ways of generating validation data for those models using a Bayesian Network approach. Our experiments show promising results that may help researchers on discrimination-aware learning to develop their techniques.
Abstract
Nos últimos anos, o campo de pesquisa de aprendizado de máquina ciente de discriminação vem firmemente se desenvolvendo. É considerado um tópico importante pois há evidências que decisões automáticas feitas por tais modelos podem apresentar viés contra certos grupos e podem gerar implicações legais. Muitas técnicas para reduzir viés de processos de aprendizado foram propostas, cada uma com suas vantagens e desvantagens. Apesar de aparentemente este campo de pesquisa já estar bem desenvolvido devido a este possuir muitas métricas de validação e técnicas, ainda há demanda de conjuntos de dados para validação. Com a meta de melhorar o processo de avaliar a qualidade das técnicas, nós propomos um arcabouço para medir qualidade de modelos cientes de discriminação. Também mostramos três maneiras de gerar dados de validação para estes modelos em uma abordagem baseada em Redes Bayesianas. Nossos experimentos mostram resultados promissores que podem ajudar pesquisadores a desenvolverem suas técnicas.
Assunto
Computação – Teses, Aprendizado do computador – Teses, Benchmarking (Administração) – Teses, Mineração de dados (Computação) - Teses, Discriminação – Teses
Palavras-chave
Fairness, Machine learning, Benchmark