Uso de informações estruturais da matriz de projeção para regularização de Extreme Learning Machines
Carregando...
Data
Autor(es)
Título da Revista
ISSN da Revista
Título de Volume
Editor
Universidade Federal de Minas Gerais
Descrição
Tipo
Dissertação de mestrado
Título alternativo
Primeiro orientador
Membros da banca
Leonardo José Silvestre
Rogério Martins Gomes
Murilo Saraiva de Queiroz
Rogério Martins Gomes
Murilo Saraiva de Queiroz
Resumo
O estudo tem como objetivo principal avaliar a possibilidade de se utilizar alguma informação a respeito da separabilidade linear dos dados projetados na camada oculta de uma rede neural do tipo ELM como informação para obtenção automática de um parâmetro de Regularização de Tikhonov. Redes neurais do tipo ELM são redes que podem ser treinadas de forma muito rápida e que apresentam a propriedade de aproximação universal.
Alguma forma de regularização é necessária para que redes neurais do tipo ELM sejam capazes de generalizar e a regularização de Tikhonov é uma possibilidade. No entanto, tal técnica envolve a escolha de um parâmetro que pondera entre a minimização do erro de treinamento e a minimização da norma dos pesos. Tal escolha é geralmente feita por meio de um processo de validação cruzada, que é caro e contraditório a um dos princípios das ELM, que é, justamente, a alta velocidade de treinamento. As metodologias propostas geram modelos regularizados em tempo muito menor que o gasto para obter parâmetros por validação cruzada e com desempenho (medido em termos de acurácia) muito semelhante.
Foram ainda, brevemente, desenvolvidas ideias estudando a possibilidade de se utilizar a matriz de distância da camada oculta de uma rede neural do tipo ELM para o treinamento e a respeito da regularização (sem parâmetros) de redes ELM construídas com spiking neurons.
Abstract
This work aims at evaluating the usage of some linear separability measure taken from
the structure of a hidden layer projected matrix of an Extreme Learning Machine as prior
information for automatic obtention of a regularization parameter for a Tikhonov Regularization. Extreme Learning Machines (ELM) are networks that can be trained very quickly
and present universal approximation property. Some regularization is usually necessary in
order to stop ELMs from overfitting and Tikhonov Regularization is a straightforward option. Such technique, however, demands the selection of a regularization parameter that
weights the training error minimization and the network weights norm minimization. This
selection is usually carried out by cross validation, which increases training times and in
fact goes against ELM philosophy. Proposed methodologies are capable of generating regularized models with similar performance to those obtained through cross validation and in
much shorter times.
The distance matrix calculated from the hidden layer of an ELM is also briefly explored
and a proposal of parameterless regularization of Spiking Neurons ELMs is introduced.
Assunto
Engenharia elétrica, Aprendizado do computador, Redes neurais (Computação)
Palavras-chave
Regularização, Redes neurais, Aprendizado de máquinas