On the role of semantic word clusters — CluWords — in natural language processing (NLP) tasks

Abstract

A capacidade de representar dados de maneira significativa e eficiente ´e crucial para as aplicações de Processamento de Linguagem Natural (PLN), pois isso afeta drasticamente o resultado dos métodos de aprendizado de máquina. Nesse contexto, esta tese de doutorado se concentra em projetar uma nova representação de documentos que agrupa palavras semanticamente relacionadas, combinadas com filtragem específica para a tarefa e esquemas de ponderação, chamada CluWords. Conceitualmente, as CluWords correspondem a grupos que incorporam palavras semanticamente relacionadas, construídas por meio de funções de distância e mecanismos de filtragem. Mais do que simples grupos de palavras relacionadas (filtradas), as CluWords são combinadas com esquemas de ponderação específicos usados para capturar sua importância em uma tarefa específica. Nossa principal hipótese é que a representação das CluWords pode melhorar a eficácia das aplicações de PLN, aprimorando a representação do documento e permitindo lidar com problemas como ruído e falta de informação. O framework das CluWords é decomposto em três etapas bem definidas e flexíveis, e pode ser aplicado em aplicações específicas. Foi explorado quatro aplicações de PLN: modelagem de tópicos, modelagem de tópicos hierárquica, léxicos de sentimento e análise de sentimento. As contribuições incluem: (i) a introdução de uma nova representação de dados, composta por três etapas gerais (agrupamento, filtragem e ponderação). Essas etapas são especialmente projetadas para superar desafios específicos relacionados a ruído e falta de informação em cada tarefa; (ii) o design dos componentes das CluWords capazes de melhorar a eficácia na detecção de tópicos relevantes para modelagem de tópicos, modelagem de tópicos hierárquica e análise de sentimento; (iii) a proposição de um conjunto de evidências experimentais empíricas para demonstrar que as relações semânticas podem ser eficazes para léxicos de sentimento; (iv) proposta de duas novas métricas de qualidade de tópico para avaliar a qualidade tópica das estruturas hierárquicas. Nossos experimentos mostram que as CluWords são o estado da arte em modelagem de tópicos e modelagem de tópicos hierárquica. No contexto de léxicos de sentimento, nossos resultados experimentais mostram que as relações semânticas fornecidas pela incorporação de palavras podem ser eficazes para o respectivo contexto. No contexto da análise de sentimento, nossos experimentos mostram que a filtragem e a ponderação dos CluWords são capazes de mitigar o ruído semântico.