Stacking bagged and boosted forests for classification of noisy and high-dimensional data
Carregando...
Data
Autor(es)
Título da Revista
ISSN da Revista
Título de Volume
Editor
Universidade Federal de Minas Gerais
Descrição
Tipo
Dissertação de mestrado
Título alternativo
Primeiro orientador
Membros da banca
Leonardo Chaves Dutra da Rocha
Marco Antonio Pinheiro de Cristo
Pedro Olmo Stancioli Vaz de Melo
Marco Antonio Pinheiro de Cristo
Pedro Olmo Stancioli Vaz de Melo
Resumo
Floresta Aleatória (FA) é uma das estratégias mais bem-sucedidas para tarefas de classificação automática. Motivado por seu grande sucesso, recém-propostos métodos baseados em FA têm alavancado a ideia central da RF de agregar um grande conjunto de árvores de decisão com baixa correlação, que é inerentemente paralelizável e provê capacidade excepcional de generalização. Nesse contexto, esse trabalho provê várias novas contribuições para essa linha de pesquisa. Primeiramente, nós propomos uma nova estratégia baseada em FA (BERT) que aplica a técnica de \textit{boosting} em árvores extremamente aleatórias com \textit{bagging}. Segundo, nós demonstramos empiricamente que essa nova estratégia, assim como os recém-propostos classificadores BROOF e LazyNN\_RF complementam uns aos outros, motivando-nos a empilhá-los a fim de produzir um método ainda mais eficaz. Até onde sabemos, esse é a primeira estratégia que efetivamente combina as três principais estratégias de comitê de classificadores: empilhamento, \textit{bagging} (a base da FA) e \textit{boosting}. Por último, nós exploramos as instâncias \textit{out-of-bag (OOB)} para empilhar, eficientemente e sem viés, métodos baseados em \textit{bagging}, desse modo diminuindo consideravelmente o custoso processo de treino do procedimento de empilhamento. Nossos experimentos cobrindo dois domínios ruidosos e com alta dimensionalidade - classificação de tópicos e sentimentos - provê forte evidência em favor dos benefícios de nossas soluções baseadas em FA. Nós mostramos que o BERT está dentre os classificadores de mais alta efetividade na vasta maioria dos casos analisados, mantendo os benefícios únicos da FA (interpretabilidade, paralelização, fácil parametrização, capacidade de lidar com dados heterogêneos e valores faltantes).
Abstract
Assunto
Computação, Floresta Aleatória, Aprendizado de máquina, Mineração de dados (Computação)
Palavras-chave
Aprendizado de Máquina, Classificação, Ensemble, Floresta Aleatória, Empilhamento