Viés de gênero na tradução automática do GPT-3.5 turbo: avaliando o par linguístico inglês-português
Carregando...
Data
Título da Revista
ISSN da Revista
Título de Volume
Editor
Universidade Federal de Minas Gerais
Descrição
Tipo
Artigo de evento
Título alternativo
Primeiro orientador
Membros da banca
Resumo
This paper reports on a study of machine translation quality in texts generated by GPT-3.5 turbo. To that end, we translated the WinoMT Challenge Test Set into Brazilian Portuguese, a dataset developed to evaluate machine translation models output regarding grammatical gender of nouns used to name human occupations. We adapted Stanovsky et al. (2019) script to evaluate GPT-3.5 turbo's output. Results show that the model's output tends to promote gender bias in the translation of nouns for human occupations.
Abstract
Este estudo avaliou a qualidade das traduções automáticas geradas pelo GPT-3.5 turbo. Traduzimos para o português o Challenge Test Set WinoMT, que avalia a capacidade de modelos de tradução automática em traduzir o gênero gramatical de substantivos relacionados a profissões. Adaptamos o código de avaliação automática desenvolvido por Stanovsky et al. (2019) para avaliar as traduções resultantes. Os resultados indicam que o GPT-3.5 turbo tende a promover viés de gênero na tradução de profissões.
Assunto
Tradução mecânica
Palavras-chave
Métodos de avaliação de tarefas de PLN, Tradução Automática, Modelos de linguagem grandes