Assessing complexity and difficulty levels of machine-translated texts

Abstract

Este artigo aborda uma proposta para verificar o nível de complexidade e dificuldade de textos traduzidos automaticamente para o português a fim de serem pós-editados sem acesso ao texto-fonte (pós-edição monolíngue) em um estudo experimental. Com o uso de dois parâmetros padrão objetivos, quais sejam índices de legibilidade e frequência de palavras, e a percepção de pós-editores sobre a dificuldade para compreender e pós-editar os textos traduzidos pela máquina como um novo parâmetro, procurou-se selecionar textos traduzidos automaticamente que guardassem entre si níveis de complexidade e dificuldade textuais semelhantes. Essa seleção foi necessária para a realização de um experimento com quatro tarefas de pós-edição monolíngue em português envolvendo textos traduzidos automaticamente a partir de três línguas-fonte diferentes (inglês, espanhol e chinês). A aplicação de índices de legibilidade e da frequência das palavras com base em um corpus para analisar textos traduzidos automaticamente para o português para fins de uso em experimentos mostrou ser consistente e adequada. Esse método também pode ser aplicado para selecionar textos para serem trabalhados em aulas de português e para selecionar textos em português para serem incluídos em livros didáticos. Os resultados também podem ser aplicados para aulas de tradução. Professores podem usar a mesma metodologia para selecionar textos para serem traduzidos ou pós-editados em sala de aula e incentivar alunos a analisar os textos antes da execução das tarefas para que esses alunos possam se conscientizar do esforço a ser investido em uma tarefa ou do esforço real após executá-la. Além disso, a percepção dos pós-editores mostrou ser um parâmetro válido para a seleção dos textos.