Classificadores de margem larga baseados em redes neurais de camada oculta única
Carregando...
Data
Autor(es)
Título da Revista
ISSN da Revista
Título de Volume
Editor
Universidade Federal de Minas Gerais
Descrição
Tipo
Dissertação de mestrado
Título alternativo
Primeiro orientador
Membros da banca
Cristiano Leite de Castro
Vitor Angelo Maria Ferreira Torres
Vitor Angelo Maria Ferreira Torres
Resumo
Esta dissertação explorou a relevância dos classificadores de margem larga no campo do aprendizado de máquina. Buscou-se observar algumas características relevantes desses classificadores, como sua capacidade de generalização, robustez a dados ruidosos, interpretabilidade e resistência a overfitting. Foram propostos três métodos, baseados em redes
neurais de uma única camada oculta, que buscam obter uma margem larga: RP-IMA primal, IM-RBFNN e RP-IMA dual. Esses algoritmos se baseiam no princípio de determinar os pesos da camada escondida da rede de forma não supervisionada, enquanto na camada de saída é empregado um algoritmo de margem incremental. Todos os modelos foram testados em bases sintéticas e bases de benchmark e em todos os casos a metodologia de testes utilizada foi a validação cruzada com 10 dobras. Os resultados de medição de margem rígida demonstraram que esses modelos foram capazes de obter margens significativamente maiores em comparação com outros algoritmos, como ELM, RBFNN e ELM dual, respectivamente. Além disso, análises de acurácia dos modelos mostraram uma correlação positiva entre a obtenção de uma margem larga no espaço de características e o desempenho de classificação para os modelos RP-IMA primal e IM-RBFNN. Por fim, uma estratégia de poda de neurônios foi proposta para esses métodos. Os experimentos demonstraram que a poda de neurônios é capaz de reduzir significativamente a arquitetura da rede neural, enquanto mantém um desempenho comparável. Essa abordagem permite obter modelos mais compactos e eficientes sem sacrificar a performance na classificação.
Abstract
This work explored the relevance of large-margin classifiers in the machine learning field. It was observed some relevant characteristics of these classifiers, such as their generalization capacity, robustness to noisy data, interpretability, and resistance to overfitting. Three methods were proposed, based on neural networks with a single hidden layer, which pursues to obtain a large margin: primal RP-IMA, IM-RBFNN, and dual RP-IMA. These algorithms are based on the principle of determining the hidden layer weights of the network in an unsupervised approach and the output layer weights using an incremental margin algorithm. All models were tested on synthetic and benchmark datasets, and the methodology used was a 10-fold-cross-validation. The "hard" margin measurement results demonstrated that these models were able to obtain significantly higher margins compared to other algorithms such as ELM, RBFNN, and Dual ELM, respectively. Furthermore, analyses of model accuracy showed a positive correlation between obtaining a large margin in the feature space and classification performance for the primal RP-IMA and IM-RBFNN models. Finally, a neuron pruning strategy was proposed for these methods. The experiments demonstrated that the pruning scheme can significantly reduce neural network architecture while maintaining comparable performance. This approach allows them to obtain more compact and efficient models without reducing classification performance.
Assunto
Engenharia elétrica, Redes neurais (Computação), Aprendizado do computador
Palavras-chave
Classificadores de margem larga, Redes neurais, Poda de neurônios, Classificação de dados tabulares, Problemas de classificação binária