A study of the nuances of AI fairness development in practice: a framework for designing bias mitigation interventions
Carregando...
Data
Autor(es)
Título da Revista
ISSN da Revista
Título de Volume
Editor
Universidade Federal de Minas Gerais
Descrição
Tipo
Dissertação de mestrado
Título alternativo
Um estudo das nuances do desenvolvimento de justiça algorítmica na prática: uma estrutura para projetar intervenções de mitigação de viéses
Primeiro orientador
Membros da banca
Flávio Vinícius Diniz de Figueiredo
Jonice de Oliveira Sampaio
Jonice de Oliveira Sampaio
Resumo
Fairness interventions are a key focus in most Artificial Intelligence (AI) ethics research fields. When biases related to some features (e.g., race, sex, age, religion) are identified in AI systems and contribute to discrimination outcomes, developers, engineers, or stakeholders must choose how and when to intervene. However, the literature contains a plethora of different notions that characterize the definitions of fairness and sources of bias. Still, with a need for more standardization in the intervention process, it remains challenging to determine the suitable option for a given context or highlight the difference between them. In this work, we explore the definitions of fairness based on statistical concepts with the goal of addressing the need for responsible AI development by proposing a framework focused on mitigating bias in binary classification tasks within supervised machine learning. The framework is guided by three statistical fairness criteria: Independence, Separation, and Sufficiency, discussed in the work by Barocas et al. (2023), and the aim is to explore the trade-offs between these different fairness definitions. Our study highlights the complexity of fairness, which is multifaceted and context-dependent, and underscores the challenges in achieving universally applicable evaluation criteria, as we show that these three definitions cannot be achieved simultaneously. We review existing bias intervention methods, including techniques applied at different stages of developing a machine learning pipeline. This research mainly contributes to a framework that can improve the state-of-the-art process of developing and applying bias mitigation and assessment techniques based on statistical concepts, comparing various definitions of fairness, and avoiding "one-size-fits-all" solutions. Enabling the use of an approach that offers multiple perspectives of the context to contemplate various audiences and avoid case-by-case customizations (for group fairness metrics), regardless of the biases, objectives, or stakeholders involved. We apply our framework through a case study using data from the American Community Survey (ACS) US census to predict income levels, demonstrating the application of various fairness interventions and their impact on model performance. The research findings reveal that different fairness criteria lead to distinct outcomes, emphasizing the importance of applying various definitions in order to select the appropriate fairness definitions based on the specific context and societal implications regarding the stakeholders' goals. We also discuss the limitations of current fairness assessment and quantification tools and the need for more practical and implementable AI ethics guidelines according to different fairness notions. The proposed framework is available as an open-source tool, intending to assist the AI practitioner community in expanding the ways to apply bias mitigating bias approaches in AI systems by addressing a variety of fairness perspectives.
Abstract
Intervenções para alcançar “justiça” (fairness) são um foco importante na maioria dos campos de pesquisa de ética em Inteligência Artificial (IA). Quando vieses relacionados a algumas características (por exemplo, raça, sexo, idade, religião) são identificados em sistemas de IA e contribuem para resultados que contém discriminação, desenvolvedores, engenheiros de IA ou partes interessadas devem escolher como e quando intervir para reduzir a disseminção de injustiças. No entanto, a literatura contém uma infinidade de noções diferentes que caracterizam as definições de fairness e de geração de viés. Ainda assim, a necessidade de um processo mais padronizado de intervenção, continua sendo uma tarefa desafiadora, pois exige determinar o método adequado de redução de injustiças para um determinado contexto ou tarefa. Nesta pesquisa, exploramos as definições de fairness com base em conceitos estatísticos com o objetivo de abordar a necessidade de desenvolvimento responsável de IA, propondo uma estrutura focada na mitigação de vieses em tarefas de classificação binária dentro do aprendizado de máquina supervisionado. A estrutura proposta é guiada por três critérios de equidade (fairness) estatística: Independência, Separação e Suficiência, discutidos no trabalho de Barocas et al. (2023), e visa explorar os trade-offs entre essas diferentes caracterizações. Nosso estudo destaca a complexidade que é definitir fairness, que é dependente do contexto e tarefas, ressaltando os desafios em alcançar critérios de avaliação universalmente aplicáveis, pois mostramos que essas três definições não podem ser alcançadas simultaneamente. Revisamos métodos de intervenção de viés existentes, incluindo técnicas aplicadas em diferentes estágios do desenvolvimento de um pipeline de aprendizado de máquina. Essa pesquisa contribui principalmente com uma estrutura que pode aprimorar o estado-da-arte do processo de desenvolvimento e aplicação de técnicas de mitigação e avaliação de viés, com base em conceitos estatísticos, comparando várias definições de imparcialidade, evitando soluções do tipo "tamanho único". Possibilitando o uso de uma abordagem que oferece múltiplas perspectivas do contexto para contemplar vários públicos, e evitar personalizações caso-a-caso (para métricas de justiça em grupo), independentemente dos vieses, objetivos ou partes interessadas envolvidas. Aplicamos nossa estrutura por meio de um estudo de caso usando dados do censo dos EUA American Community Survey (ACS) para prever níveis de renda, demonstrando a aplicação de várias intervenções de redução de viés e seu impacto no desempenho do modelo. As descobertas da pesquisa revelam que diferentes critérios de justiça levam a resultados distintos, enfatizando a importância de aplicar diferentes definições de justiça afim de selecionar a mais apropriada com base no contexto específico e nas implicações sociais em relação aos objetivos das partes interessadas. Também discutimos as limitações das ferramentas atuais de avaliação e quantificação de viéses e a necessidade de diretrizes de ética de IA mais práticas e implementáveis de acordo com diferentes noções de fairness. A estrutura proposta está disponível como uma ferramenta de código-aberto, com objetivo de auxiliar a comunidade de profissionais de IA a expandir as formas de aplicar mitigações de injustiças em sistemas de IA abordando uma variedade de perspectivas de fairness.
Assunto
Computação - Teses, Aprendizagem do Computador - Teses, Inteligência artificial - Teses
Palavras-chave
Artificial intelligence, AI fairness, Bias mitigation, Development framework, Machine learning
Citação
Departamento
Endereço externo
Avaliação
Revisão
Suplementado Por
Referenciado Por
Licença Creative Commons
Exceto quando indicado de outra forma, a licença deste item é descrita como Acesso Aberto