Reamostragem local baseada em informação estrutural dos dados com regularização de redes neurais artificiais
Carregando...
Arquivos
Data
Autor(es)
Título da Revista
ISSN da Revista
Título de Volume
Editor
Universidade Federal de Minas Gerais
Descrição
Tipo
Tese de doutorado
Título alternativo
Primeiro orientador
Membros da banca
Eduardo Mazoni Andrade Marçal Mendes
João Pedro Braga
Haroldo Fraga de Campos Velho
Elcio Hideiti Shiguemori
João Pedro Braga
Haroldo Fraga de Campos Velho
Elcio Hideiti Shiguemori
Resumo
A capacidade de aprendizado de uma rede neural artificial depende das restrições impostas ao seu espaço de soluções que podem ser determinadas pelo número de parâmetros do modelo ou por outras formas de restrições de busca neste espaço. A complexidade da rede neural pode ser controlada pela decomposição da esperança do erro quadrático em dois termos que representam o víes e a variância da família de modelos. Uma técnica utilizada para controlar o trade-off entre o víes e a variância é a regularização, que controla a variância pela modificação da função de erro com adição de um termo de penalização. A proposta deste trabalho é definir um classificador de margem larga baseado na adição de amostras sintéticas no conjunto de treinamento em seu espaço de características. A abordagem proposta é baseada em um modelo de adição de ruídos no treinamento e das informações estruturais dos dados. Os experimentos foram realizados para comparar o modelo proposto denominado como Regularization with Noise of Extreme Learning Machine (RN-ELM) em relação a Extreme Learning Machine (ELM) padrão e o modelo de Extreme Learning Machine com regularização (ELM-REG). Os resultados mostram a capacidade de reduzir a norma e suavizar a superfície de separação dos modelos RN-ELM e ELM-REG. Na avaliação estatística da acurácia média dos modelos foi visto que existem diferenças significativas entre os modelos. Pela formalização matemática foi possível verificar que o método proposto possui efeito semelhante a regularização de Tikhonov. O modelo RN-ELM leva a função de separação para região de margem, sem a necessidade de cobrir exaustivamente todo o espaço de entrada, onde os parâmetros utilizados foram definidos pelas informações estruturais dos dados.
Abstract
The learning capability of the artificial neural networks (ANN) depends the imposes constraints on solutions space which can be defined by the number of parameters of the model or by another constraints on it search space. To control the complexity of the neural network is used the decomposition the expectation of mean squared error into bias and variance terms of the model family. A technical used to control the tradeoff between bias and variance is the regularization that control the variance by a modification into error function by including a penalization term. The propose of this work is to define a classifier of large margin based on local resampling into training set in feature space. The thesis approach is based in the addition of noise during neural network training and on structural information of the data. Experiments were carried out to compare the proposed model called Regularization with Noise of Extreme Learning Machine (RN-ELM) against the standard Extreme Learning Machine (ELM) and Extreme Learning Machine with regularization (ELM-REG). The results showed that the methods RN-ELM and ELM-REG yield smoother solutions and decrease the weight norm. The Statistical test was applied on the mean accuracy of the models was observed that there are significative difference between the models. A mathematical formulation of the proposed method shows that the addition of synthetic samples has the same effect as the Tikhonov regularization. The RN-ELM approach leads the separation function to the margin region, without the need to exhaustively cover the whole input space and the parameters are fitted using the structural information of the samples.
Assunto
Engenharia elétrica, Redes Neurais (Computação)
Palavras-chave
Classificador, Redes neurais, Regularização, Treinamento com ruído