Stacking bagged and boosted forests for classification of noisy and high-dimensional data

Raphael Rodrigues Campos

Please use this identifier to cite or link to this item: http://hdl.handle.net/1843/JCES-ATKER7

Type:	Dissertação de Mestrado
Title:	Stacking bagged and boosted forests for classification of noisy and high-dimensional data
Authors:	Raphael Rodrigues Campos
First Advisor:	Marcos Andre Goncalves
First Referee:	Leonardo Chaves Dutra da Rocha
Second Referee:	Marco Antonio Pinheiro de Cristo
Third Referee:	Pedro Olmo Stancioli Vaz de Melo
Abstract:	Floresta Aleatória (FA) é uma das estratégias mais bem-sucedidas para tarefas de classificação automática. Motivado por seu grande sucesso, recém-propostos métodos baseados em FA têm alavancado a ideia central da RF de agregar um grande conjunto de árvores de decisão com baixa correlação, que é inerentemente paralelizável e provê capacidade excepcional de generalização. Nesse contexto, esse trabalho provê várias novas contribuições para essa linha de pesquisa. Primeiramente, nós propomos uma nova estratégia baseada em FA (BERT) que aplica a técnica de \textit{boosting} em árvores extremamente aleatórias com \textit{bagging}. Segundo, nós demonstramos empiricamente que essa nova estratégia, assim como os recém-propostos classificadores BROOF e LazyNN\_RF complementam uns aos outros, motivando-nos a empilhá-los a fim de produzir um método ainda mais eficaz. Até onde sabemos, esse é a primeira estratégia que efetivamente combina as três principais estratégias de comitê de classificadores: empilhamento, \textit{bagging} (a base da FA) e \textit{boosting}. Por último, nós exploramos as instâncias \textit{out-of-bag (OOB)} para empilhar, eficientemente e sem viés, métodos baseados em \textit{bagging}, desse modo diminuindo consideravelmente o custoso processo de treino do procedimento de empilhamento. Nossos experimentos cobrindo dois domínios ruidosos e com alta dimensionalidade - classificação de tópicos e sentimentos - provê forte evidência em favor dos benefícios de nossas soluções baseadas em FA. Nós mostramos que o BERT está dentre os classificadores de mais alta efetividade na vasta maioria dos casos analisados, mantendo os benefícios únicos da FA (interpretabilidade, paralelização, fácil parametrização, capacidade de lidar com dados heterogêneos e valores faltantes).
Subject:	Computação Floresta Aleatória Aprendizado de máquina Mineração de dados (Computação)
language:	Inglês
Publisher:	Universidade Federal de Minas Gerais
Publisher Initials:	UFMG
Rights:	Acesso Aberto
URI:	http://hdl.handle.net/1843/JCES-ATKER7
Issue Date:	21-Jul-2017
Appears in Collections:	Dissertações de Mestrado

Files in This Item:

File	Description	Size	Format
raphael_rodrigues_campos.pdf		1.1 MB	Adobe PDF	View/Open

Show full item record