Please use this identifier to cite or link to this item:
http://hdl.handle.net/1843/61980
Type: | Dissertação |
Title: | Classificadores de margem larga baseados em redes neurais de camada oculta única |
Authors: | Vítor Gabriel Reis Caitité |
First Advisor: | Antônio de Pádua Braga |
First Co-advisor: | Raul Fonseca Neto |
First Referee: | Cristiano Leite de Castro |
Second Referee: | Vitor Angelo Maria Ferreira Torres |
Abstract: | Esta dissertação explorou a relevância dos classificadores de margem larga no campo do aprendizado de máquina. Buscou-se observar algumas características relevantes desses classificadores, como sua capacidade de generalização, robustez a dados ruidosos, interpretabilidade e resistência a overfitting. Foram propostos três métodos, baseados em redes neurais de uma única camada oculta, que buscam obter uma margem larga: RP-IMA primal, IM-RBFNN e RP-IMA dual. Esses algoritmos se baseiam no princípio de determinar os pesos da camada escondida da rede de forma não supervisionada, enquanto na camada de saída é empregado um algoritmo de margem incremental. Todos os modelos foram testados em bases sintéticas e bases de benchmark e em todos os casos a metodologia de testes utilizada foi a validação cruzada com 10 dobras. Os resultados de medição de margem rígida demonstraram que esses modelos foram capazes de obter margens significativamente maiores em comparação com outros algoritmos, como ELM, RBFNN e ELM dual, respectivamente. Além disso, análises de acurácia dos modelos mostraram uma correlação positiva entre a obtenção de uma margem larga no espaço de características e o desempenho de classificação para os modelos RP-IMA primal e IM-RBFNN. Por fim, uma estratégia de poda de neurônios foi proposta para esses métodos. Os experimentos demonstraram que a poda de neurônios é capaz de reduzir significativamente a arquitetura da rede neural, enquanto mantém um desempenho comparável. Essa abordagem permite obter modelos mais compactos e eficientes sem sacrificar a performance na classificação. |
Abstract: | This work explored the relevance of large-margin classifiers in the machine learning field. It was observed some relevant characteristics of these classifiers, such as their generalization capacity, robustness to noisy data, interpretability, and resistance to overfitting. Three methods were proposed, based on neural networks with a single hidden layer, which pursues to obtain a large margin: primal RP-IMA, IM-RBFNN, and dual RP-IMA. These algorithms are based on the principle of determining the hidden layer weights of the network in an unsupervised approach and the output layer weights using an incremental margin algorithm. All models were tested on synthetic and benchmark datasets, and the methodology used was a 10-fold-cross-validation. The "hard" margin measurement results demonstrated that these models were able to obtain significantly higher margins compared to other algorithms such as ELM, RBFNN, and Dual ELM, respectively. Furthermore, analyses of model accuracy showed a positive correlation between obtaining a large margin in the feature space and classification performance for the primal RP-IMA and IM-RBFNN models. Finally, a neuron pruning strategy was proposed for these methods. The experiments demonstrated that the pruning scheme can significantly reduce neural network architecture while maintaining comparable performance. This approach allows them to obtain more compact and efficient models without reducing classification performance. |
Subject: | Engenharia elétrica Redes neurais (Computação) Aprendizado do computador |
language: | por |
metadata.dc.publisher.country: | Brasil |
Publisher: | Universidade Federal de Minas Gerais |
Publisher Initials: | UFMG |
metadata.dc.publisher.department: | ENG - DEPARTAMENTO DE ENGENHARIA ELETRÔNICA |
metadata.dc.publisher.program: | Programa de Pós-Graduação em Engenharia Elétrica |
Rights: | Acesso Aberto |
URI: | http://hdl.handle.net/1843/61980 |
Issue Date: | 28-Sep-2023 |
Appears in Collections: | Dissertações de Mestrado |
Files in This Item:
File | Description | Size | Format | |
---|---|---|---|---|
Dissertação_Vitor_Caitite.pdf | 4.47 MB | Adobe PDF | View/Open |
Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.