Challenging formality style transfer models with progressively harder instances

Abstract

Transferência de estilo de texto, também conhecida como TST, é uma tarefa de Processamento de Linguagem Natural que visa transferir o estilo de um texto, buscando preservar o significado no processo. Transferência de Estilo de Formalidade é uma subtarefa de TST focada no domínio informal →formal. Para esta tarefa, dados paralelos são escassos e difíceis de coletar, e as pesquisas iniciais se concentraram principalmente em abordagens não supervisionadas. Neste trabalho, propomos DEGRADE, um mecanismo para introduzir informalidade em conjuntos de dados existentes por meio de (1) criação de novos conjuntos de dados paralelos de FST a partir de textos formais e (2) adição de ainda mais informalidade nas sentenças informais dentro de conjuntos de dados paralelos existentes (por exemplo, GYAFC). DEGRADE pode ser visto como uma estratégia de perturbação de dados, pois perturba o texto com cinco modificações: D1 (abreviações), D2 (gírias), D3 (erros de ortografia), D4 (palavras maiúsculas) e D5 (emoji). As modi- ficações são aplicadas sequencialmente em ordem crescente do rótulo D(i). Para uma frase W, primeiro executamos D1, seguido por D2, D3, D4 e, finalmente, D5. Como resultado, DEGRADE pode aplicar múltiplas transformações as frases dentro de um texto. Nosso método introduz modificações em cinco níveis diferentes de informalidade: NONE, LOW, MODERATE, HEAVY e EXTREME. O nível NONE preserva o texto original inalterado, servindo como uma linha de base para avaliar o impacto dos níveis de modificação subsequentes. Por outro lado, o n´nível EXTREME aplica as modificações mais intensas, tornando o texto às vezes difícil até mesmo para pessoas compreenderem. Para avaliar o impacto dessas transformações, avaliamos vários Large Language Models (LLMs) existentes nos conjuntos de dados dentro da tarefa FST. Especificamente, experimentamos com o DeepSeek, LLama2, ChatGPT, Mistral e BART. Para a avaliação, fizemos o fine-tuning de LLama2 e Mistral e treinamos o BART do zero. O ChatGPT é utilizado em uma configuração zero-shot, sem nenhum tipo de fine-tuning. Esta avaliação é conduzida em dois conjuntos de dados: Grammarly’s Yahoo Answers Formality Corpus (GYAFC) e GPT-Dataset. GYAFC é um conjunto de dados existente e importante benchmark FST, composto por dados FST paralelos de alta qualidade. GPT-Dataset é um conjunto de dados criados a partir do ChatGPT e que usamos para criar novos dados paralelos formais →informais, expandindo o escopo de nossa avaliação. Os resultados demonstraram a eficácia do DEGRADE em aumentar a dificuldade das instâncias. Ao analisar as pontuações gerais, usando perplexidade, BLEU e acurácia de estilo, o desempenho da transferência de estilo de formalidade diminui significativamente à medida que o nível de informalidade do DEGRADE aumenta. Essa queda no desempenho ocorreu para todos os modelos, exceto o ChatGPT. Um modelo maior, como o ChatGPT, manteve resultados relativamente bons em todos os n´níveis de método, sugerindo que a escala do modelo é um fator mais determinante do que o fine-tuning ao lidar com variações extremas de estilo. Concluímos que modelos de linguagem grandes têm dificuldade em adaptar `a variabilidade da linguagem em cenários de alta informalidade, e que a escala do modelo é um fator determinante na performance.