On the bias of toxicity and sentiment analysis methods on the African American English

Abstract

A linguagem é um componente dinâmico da nossa cultura que evoluir quando em contato com diferentes tecnologias e partes da sociedade. Com o aumento crescente do acesso a internet, particularmente de grupos historicamente marginalizados, a Web propiciou a difusão e evolução de diferentes dialetos, por exemplo, o Inglês Afro-Americano (AAE). Contudo, a difusão de dialetos também trás barreiras de adoção quando os mesmos são aplicados online. Ainda no nosso estudo de caso acerca do AAE, salientamos que embora o número de frases com termos AAE online tenha aumentado ao longo dos anos, o dialeto também tem encontrado diferentes formas de censura online, sendo que no âmbito desta dissertação, a censura surge no forma de pontuações de modelos de análise de toxicidade e sentimento. É essencial observar que a moderação do AAE por meio de modelos de análise de toxicidade e sentimento não surge deliberadamente. O número cada vez maior de postagens online torna difícil moderar a mídia online. Esse aumento no conteúdo levou as empresas a desenvolver ferramentas automáticas (por exemplo, modelos de análise de toxicidade e sentimento) para ajudar a filtrar conteúdo nocivo (tóxico, racista, agressivo e assim por diante). Nesse sentido, ferramentas de moderação foram criadas para fomentar debates online razoáveis (não tóxicos). No entanto, como discutimos nesta dissertação, essas soluções podem sair pela culatra e, em última análise, perpetuar o tratamento díspar (por exemplo, negligenciando o conteúdo discriminatório ou censurando o discurso da minoria) dos grupos sociais que pretendiam empoderar/impulsionar. Por que isso acontece? O uso de gírias e termos reapropriados (como n*gger) online é visto por tais modelos como conteúdo nocivo. Em sua forma atual, a IA não consegue diferenciar um enunciado tóxico de um não tóxico, dependendo da presença de termos-chave. De acordo com a ferramenta Perspective do Google, um enunciado como ``Todos os negros merecem morrer com respeito. A polícia nos mata.'' é considerado tóxico. Visto que, “Os afro-americanos merecem morrer com respeito. A polícia nos mata.'' não é. Essa diferença de pontuação provavelmente surge porque a ferramenta é incapaz de entender a reapropriação do termo ``n*gger''. Para ser justo, a maioria dos modelos de IA são treinados em conjuntos de dados limitados e é mais provável que o uso de tal termo em dados de treinamento apareça em um enunciado tóxico. Embora essa possa ser uma explicação plausível, a ferramenta (se empregada em um site/fórum) cometerá erros independentemente da explicação. Este trabalho investiga amplamente os vieses em outros modelos de análise de toxicidade (Perspectiva do Google e modelos do Detoxify de código aberto) e de sentimento (Vader, TextBlob e Flair). Nossos experimentos são realizados em dois conjuntos de dados baseados na Web (YouTube e Twitter) e um conjunto de dados baseado em entrevistas. Cada conjunto de dados tem expressões em inglês de afro-americanos e não-afro-americanos. Nossa análise mostra inicialmente como a maioria dos modelos apresenta vieses em relação à AAE na maioria dos conjuntos de dados, e os vieses são mais proeminentes no Twitter e menos proeminentes em entrevistas pessoais. Além disso, explicamos nossos resultados por meio de recursos linguísticos com o auxílio do software Linguistic Inquiry and Word Count (LIWC), Part of Speech (POS) de modelos de processamento de linguagem natural (NLP) e Word Mover's Distance (WMD). Apresentamos resultados consistentes sobre como o uso mais frequente de termos de AAE pode fazer com que o falante seja considerado substancialmente mais tóxico do que os não-falantes de AAE, mesmo quando falam quase sobre o mesmo assunto.