Please use this identifier to cite or link to this item:
http://hdl.handle.net/1843/39660
Type: | Tese |
Title: | Reamostragem local baseada em informação estrutural dos dados com regularização de redes neurais artificiais |
Authors: | Alex Damiany Assis |
First Advisor: | Antônio de Pádua Braga |
First Co-advisor: | Luiz Carlos Bambirra Torres |
First Referee: | Eduardo Mazoni Andrade Marçal Mendes |
Second Referee: | João Pedro Braga |
Third Referee: | Haroldo Fraga de Campos Velho |
metadata.dc.contributor.referee4: | Elcio Hideiti Shiguemori |
Abstract: | A capacidade de aprendizado de uma rede neural artificial depende das restrições impostas ao seu espaço de soluções que podem ser determinadas pelo número de parâmetros do modelo ou por outras formas de restrições de busca neste espaço. A complexidade da rede neural pode ser controlada pela decomposição da esperança do erro quadrático em dois termos que representam o víes e a variância da família de modelos. Uma técnica utilizada para controlar o trade-off entre o víes e a variância é a regularização, que controla a variância pela modificação da função de erro com adição de um termo de penalização. A proposta deste trabalho é definir um classificador de margem larga baseado na adição de amostras sintéticas no conjunto de treinamento em seu espaço de características. A abordagem proposta é baseada em um modelo de adição de ruídos no treinamento e das informações estruturais dos dados. Os experimentos foram realizados para comparar o modelo proposto denominado como Regularization with Noise of Extreme Learning Machine (RN-ELM) em relação a Extreme Learning Machine (ELM) padrão e o modelo de Extreme Learning Machine com regularização (ELM-REG). Os resultados mostram a capacidade de reduzir a norma e suavizar a superfície de separação dos modelos RN-ELM e ELM-REG. Na avaliação estatística da acurácia média dos modelos foi visto que existem diferenças significativas entre os modelos. Pela formalização matemática foi possível verificar que o método proposto possui efeito semelhante a regularização de Tikhonov. O modelo RN-ELM leva a função de separação para região de margem, sem a necessidade de cobrir exaustivamente todo o espaço de entrada, onde os parâmetros utilizados foram definidos pelas informações estruturais dos dados. |
Abstract: | The learning capability of the artificial neural networks (ANN) depends the imposes constraints on solutions space which can be defined by the number of parameters of the model or by another constraints on it search space. To control the complexity of the neural network is used the decomposition the expectation of mean squared error into bias and variance terms of the model family. A technical used to control the tradeoff between bias and variance is the regularization that control the variance by a modification into error function by including a penalization term. The propose of this work is to define a classifier of large margin based on local resampling into training set in feature space. The thesis approach is based in the addition of noise during neural network training and on structural information of the data. Experiments were carried out to compare the proposed model called Regularization with Noise of Extreme Learning Machine (RN-ELM) against the standard Extreme Learning Machine (ELM) and Extreme Learning Machine with regularization (ELM-REG). The results showed that the methods RN-ELM and ELM-REG yield smoother solutions and decrease the weight norm. The Statistical test was applied on the mean accuracy of the models was observed that there are significative difference between the models. A mathematical formulation of the proposed method shows that the addition of synthetic samples has the same effect as the Tikhonov regularization. The RN-ELM approach leads the separation function to the margin region, without the need to exhaustively cover the whole input space and the parameters are fitted using the structural information of the samples. |
Subject: | Engenharia elétrica Redes Neurais (Computação) |
language: | por |
metadata.dc.publisher.country: | Brasil |
Publisher: | Universidade Federal de Minas Gerais |
Publisher Initials: | UFMG |
metadata.dc.publisher.department: | ENG - DEPARTAMENTO DE ENGENHARIA ELÉTRICA |
metadata.dc.publisher.program: | Programa de Pós-Graduação em Engenharia Elétrica |
Rights: | Acesso Aberto |
URI: | http://hdl.handle.net/1843/39660 |
Issue Date: | 3-Jan-2022 |
Appears in Collections: | Teses de Doutorado |
Files in This Item:
File | Description | Size | Format | |
---|---|---|---|---|
tese_alex_assis.pdf | 12.92 MB | Adobe PDF | View/Open |
Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.