Aplicação de máquinas de aprendizado extremo ao problema de aprendizado ativo
Carregando...
Data
Autor(es)
Título da Revista
ISSN da Revista
Título de Volume
Editor
Universidade Federal de Minas Gerais
Descrição
Tipo
Tese de doutorado
Título alternativo
Primeiro orientador
Membros da banca
Andre Paim Lemos
Luis Antonio Aguirre
Carlos Eduardo Pedreira
Adriano Lorena Inacio de Oliveira
Luis Antonio Aguirre
Carlos Eduardo Pedreira
Adriano Lorena Inacio de Oliveira
Resumo
O Aprendizado Ativo tem o objetivo de escolher apenas os padrões mais informativos para rotulação e aprendizado. No Aprendizado Ativo uma estratégia é utilizada para analisar um padrão não rotulado e decidir se ele deve ou não ter o seu rótulo solicitado a um especialista. Em geral essa rotulação tem um custo elevado, o que motiva o estudo de técnicas que minimizem o número de rótulos necessários para o aprendizado. As abordagens tradicionais de Aprendizado Ativo geralmente fazem algumas considerações irreais em relação aos dados, como exigir separabilidade linear ou que a distribuição dos dados seja uniforme. Além disso, os modelos tradicionais necessitam de um processo de ajuste fino de parâmetros, o que exige que rótulos sejam reservados para esse fim, aumentando os custos do processo. Nesta tese são apresentadas duas estratégias de Aprendizado Ativo que não fazem nenhuma consideração quanto aos dados e que não necessitam de ajuste fino de parâmetros. Os algoritmos propostos são baseados em Máquinas de Aprendizado Extremo (Extreme Learning Machines - ELM ) e em um Perceptron com pesos normalizados treinado com aprendizado Hebbiano. As estratégias de Aprendizado Ativo decidem se um padrão deve ser rotulado utilizando um simples teste de convergência. Esse teste é obtido através de uma adaptação do Teorema de Convergência do Perceptron. Os modelos propostos permitem o aprendizado incremental e online, são práticos e rápidos, e são capazes de obter uma boa solução em termos de complexidade neural e de capacidade de generalização. Os resultados dos experimentos mostram que os modelos desenvolvidos têm performance similar às ELMs regularizadas e às SVMs com kernel ELM. Entretanto, os modelos propostos utilizam uma quantidade de rótulos muito menor, sem a necessidade de processos de otimização computacionalmente caros e sem a necessidade de ajuste fino de parâmetros.
Abstract
The main objective of Active Learning is to choose only the most informative patterns to be labeled and learned. In Active Learning scenario a selection strategy is used to analyze a non-labeled pattern and to decide whether its label should be queried to a specialist. Usually, this labeling process has a high cost, which motivates the study of strategies that minimize the number of necessary labels for learning. Traditional Active Learning approaches make some unrealistic considerations about the data, such as requiring linear separability or that the data distribution should be uniform. Furthermore, traditional approaches require fine-tuning parameters, which implies that some labels should be reserved for this purpose, increasing the costs. In this thesis we present two Active Learning strategies that make no considerations about the data distribution and that do not require fine-tuning parameters. The proposed algorithms are based on Extreme Learning Machines (ELM) with a Hebbian Perceptron with normalized weights in the output layer. Our strategies decide whether a pattern should be labeled using a simple convergence test. This test was obtained by adapting the Perceptron Convergence Theorem. The proposed methods allow online learning, they are practical and fast, and they are able to obtain a good solution in terms of neural complexity and generalization capability. The experimental results show that our models have similar performance to regularized ELMs and SVMs with ELM kernel. However, the proposed models learn a fewer number of labeled patterns without any computationally expensive optimization process and without fine-tuning parameters.
Assunto
Engenharia elétrica
Palavras-chave
Engenharia elétrica