Please use this identifier to cite or link to this item:
http://hdl.handle.net/1843/39328
Type: | Dissertação |
Title: | Uso de informações estruturais da matriz de projeção para regularização de Extreme Learning Machines |
Authors: | Lourenço Ribeiro Grossi Araújo |
First Advisor: | Antônio de Pádua Braga |
First Co-advisor: | Luiz Carlos Bambirra Torres |
First Referee: | Leonardo José Silvestre |
Second Referee: | Rogério Martins Gomes |
Third Referee: | Murilo Saraiva de Queiroz |
Abstract: | O estudo tem como objetivo principal avaliar a possibilidade de se utilizar alguma informação a respeito da separabilidade linear dos dados projetados na camada oculta de uma rede neural do tipo ELM como informação para obtenção automática de um parâmetro de Regularização de Tikhonov. Redes neurais do tipo ELM são redes que podem ser treinadas de forma muito rápida e que apresentam a propriedade de aproximação universal. Alguma forma de regularização é necessária para que redes neurais do tipo ELM sejam capazes de generalizar e a regularização de Tikhonov é uma possibilidade. No entanto, tal técnica envolve a escolha de um parâmetro que pondera entre a minimização do erro de treinamento e a minimização da norma dos pesos. Tal escolha é geralmente feita por meio de um processo de validação cruzada, que é caro e contraditório a um dos princípios das ELM, que é, justamente, a alta velocidade de treinamento. As metodologias propostas geram modelos regularizados em tempo muito menor que o gasto para obter parâmetros por validação cruzada e com desempenho (medido em termos de acurácia) muito semelhante. Foram ainda, brevemente, desenvolvidas ideias estudando a possibilidade de se utilizar a matriz de distância da camada oculta de uma rede neural do tipo ELM para o treinamento e a respeito da regularização (sem parâmetros) de redes ELM construídas com spiking neurons. |
Abstract: | This work aims at evaluating the usage of some linear separability measure taken from the structure of a hidden layer projected matrix of an Extreme Learning Machine as prior information for automatic obtention of a regularization parameter for a Tikhonov Regularization. Extreme Learning Machines (ELM) are networks that can be trained very quickly and present universal approximation property. Some regularization is usually necessary in order to stop ELMs from overfitting and Tikhonov Regularization is a straightforward option. Such technique, however, demands the selection of a regularization parameter that weights the training error minimization and the network weights norm minimization. This selection is usually carried out by cross validation, which increases training times and in fact goes against ELM philosophy. Proposed methodologies are capable of generating regularized models with similar performance to those obtained through cross validation and in much shorter times. The distance matrix calculated from the hidden layer of an ELM is also briefly explored and a proposal of parameterless regularization of Spiking Neurons ELMs is introduced. |
Subject: | Engenharia elétrica Aprendizado do computador Redes neurais (Computação) |
language: | por |
metadata.dc.publisher.country: | Brasil |
Publisher: | Universidade Federal de Minas Gerais |
Publisher Initials: | UFMG |
metadata.dc.publisher.department: | ENG - DEPARTAMENTO DE ENGENHARIA ELÉTRICA |
metadata.dc.publisher.program: | Programa de Pós-Graduação em Engenharia Elétrica |
Rights: | Acesso Aberto |
URI: | http://hdl.handle.net/1843/39328 |
Issue Date: | 14-Feb-2019 |
Appears in Collections: | Dissertações de Mestrado |
Files in This Item:
File | Description | Size | Format | |
---|---|---|---|---|
Uso de Informações Estruturais da Matriz de Projeção para Regularização de Extreme Learning Machines.pdf | 1.67 MB | Adobe PDF | View/Open |
Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.