On the cost-effectiveness of stacking of neural and non-neural methods for text classification: scenarios and performance prediction

Abstract

Algoritmos de redes neurais, como aqueles baseados em transformers e modelos de atenção, têm se destacado em tarefas de Classificação Automática de Texto (ATC). No entanto, essa melhora de desempenho tem altos custos computacionais. Conjuntos de classificadores mais simples (ou seja, Stacking) que exploram complementaridades dos algoritmos e representações textuais também mostraram produzir desempenho de alto nível em ATC, desfrutando de alta eficácia e custos computacionais potencialmente mais baixos. Nesse contexto, apresentamos o primeiro e maior estudo comparativo para explorar a relação custo-benefício do stacking de classificadores ATC, composto por transformers e algoritmos que não utilizam redes neurais. Em particular, estamos interessados em responder a perguntas de pesquisa tais como: (1) É possível obter uma combinação de classificadores eficaz com custo computacional significativamente menor do que o melhor modelo de aprendizado para um determinado conjunto de dados? (2) Desconsiderando o custo computacional, existe uma combinação de classificadores que pode melhorar a eficácia do melhor modelo de aprendizagem? Além de responder a tais questões, outra contribuição principal dessa dissertação é a proposta de um método baseado em oráculos de baixo custo que pode prever o melhor ensemble em cada cenário (com e sem limitações de custo computacional) usando apenas uma fração dos dados de treinamento disponíveis.