Please use this identifier to cite or link to this item:
http://hdl.handle.net/1843/45067
Type: | Dissertação |
Title: | On the cost-effectiveness of stacking of neural and non-neural methods for text classification: scenarios and performance prediction |
Authors: | Christian Reis Fagundes Gomes |
First Advisor: | Marcos André Gonçalves |
First Co-advisor: | Leonardo Chaves Dutra da Rocha |
First Referee: | Rodrygo Luis Teodoro Santos |
Second Referee: | Alexandre Plastino de Carvalho |
Abstract: | Neural network algorithms such as those based on transformers and attention models have excelled on Automatic Text Classification (ATC) tasks. However, such enhanced performance comes at high computational costs. Ensembles of simpler classifiers (i.e., stacking) that exploit algorithmic and representational complementarities have also been shown to produce top-notch performance in ATC, enjoying high effectiveness and potentially lower computational costs. In this context, we present the first and largest comparative study to exploit the cost-effectiveness of stacking of ATC classifiers, consisting of transformers and non-neural algorithms. In particular, we are interested in answering research questions such as: Is it possible to obtain an effective ensemble with significantly less computational cost than the best learning model for a given dataset? Disregarding the computational cost, can an ensemble improve the effectiveness of the best learning model? Besides answering such questions, another main contribution of this dissertation is the proposal of a low-cost oracle-based method that can predict the best ensemble in each scenario (with and without computational cost limitations) using only a fraction of the available training data. |
Abstract: | Algoritmos de redes neurais, como aqueles baseados em transformers e modelos de atenção, têm se destacado em tarefas de Classificação Automática de Texto (ATC). No entanto, essa melhora de desempenho tem altos custos computacionais. Conjuntos de classificadores mais simples (ou seja, Stacking) que exploram complementaridades dos algoritmos e representações textuais também mostraram produzir desempenho de alto nível em ATC, desfrutando de alta eficácia e custos computacionais potencialmente mais baixos. Nesse contexto, apresentamos o primeiro e maior estudo comparativo para explorar a relação custo-benefício do stacking de classificadores ATC, composto por transformers e algoritmos que não utilizam redes neurais. Em particular, estamos interessados em responder a perguntas de pesquisa tais como: (1) É possível obter uma combinação de classificadores eficaz com custo computacional significativamente menor do que o melhor modelo de aprendizado para um determinado conjunto de dados? (2) Desconsiderando o custo computacional, existe uma combinação de classificadores que pode melhorar a eficácia do melhor modelo de aprendizagem? Além de responder a tais questões, outra contribuição principal dessa dissertação é a proposta de um método baseado em oráculos de baixo custo que pode prever o melhor ensemble em cada cenário (com e sem limitações de custo computacional) usando apenas uma fração dos dados de treinamento disponíveis. |
Subject: | Computação – Teses Processamento da linguagem natural (Computação)–Teses Indexação automatica –Teses Aprendizado Ensemble – Teses |
language: | por |
metadata.dc.publisher.country: | Brasil |
Publisher: | Universidade Federal de Minas Gerais |
Publisher Initials: | UFMG |
metadata.dc.publisher.department: | ICX - DEPARTAMENTO DE CIÊNCIA DA COMPUTAÇÃO |
metadata.dc.publisher.program: | Programa de Pós-Graduação em Ciência da Computação |
Rights: | Acesso Aberto |
metadata.dc.rights.uri: | http://creativecommons.org/licenses/by/3.0/pt/ |
URI: | http://hdl.handle.net/1843/45067 |
Issue Date: | 6-Oct-2021 |
Appears in Collections: | Dissertações de Mestrado |
Files in This Item:
File | Description | Size | Format | |
---|---|---|---|---|
dissertacao_new.pdf | 40.88 MB | Adobe PDF | View/Open |
This item is licensed under a Creative Commons License