Diversity-Aware Graphormer: insights from hate speech detection on 4chan

Abstract

A arquitetura de Transformers remodelou o cenário da IA, impulsionando avanços importantes como o BERT. O Graphormer, uma Rede Neural de Grafos que utiliza mecanismos de atenção baseados em Transformer, é bem sucedido na captura de relacionamentos complexos em dados estruturados como estruturas moleculares e sistemas de recomendação. Esse sucesso pode ser atribuído às capacidades do Graphormer em aproveitar informações topológicas do grafo. Com base nessa arquitetura mais interpretável, é proposta uma nova abordagem baseada em Graphormer que incorpora uma medida de diversidade para melhorar a representação dos relacionamentos entre nós. O modelo é avaliado em duas tarefas de classificação textual, demonstrando o desempenho do modelo em comparação com outros métodos por meio de análises quantitativas e qualitativas. Essa pesquisa destaca o potencial dos Graphormers aliados á diversidade para abordar tarefas desafiadoras baseadas em grafos em tarefas de classificação textual, com potencial de aplicação em outras áreas.