Sample selection strategies for data augmentation with Gabriel Graph margin interpretation

Carregando...
Imagem de Miniatura

Título da Revista

ISSN da Revista

Título de Volume

Editor

Universidade Federal de Minas Gerais

Descrição

Tipo

Tese de doutorado

Título alternativo

Primeiro orientador

Membros da banca

Frederico Gualberto Ferreira Coelho
Gustavo Matheus de Almeida
Carlos Eduardo Ribeiro de Mello
Raul Fonseca Neto
Saulo Moraes Villela

Resumo

At first, Data Augmentation was viewed more as a tool than a research line, and it was employed in a very empirical way. General geometric and photometric transformations were applied to datasets with little regard to the augmentation process. Later, an interest for more effective Data Augmentation routines started to develop and new techniques were proposed. These new techniques led to an improvement in performance and focused mainly in finding new ways to generate data. Generative models and automated strategies that optimized the choices of transformations were employed with success. Data structure, however, remains to be explored. It is well known in Machine Learning literature that different samples have a different impact in discriminative models, a concept that is explored by state of the art techniques such as Boosted Trees and Support Vector Machines. Samples that are harder to classify or those that are closer to the decision boundary are crucial to the construction of a good model. This work proposes a strategy for selecting samples for Data Augmentation that can be reliably and reasonably applied to large datasets, as it is scalable, fast and involves few user defined parameters. Reliability is shown with a formal study of margin effects by means of a Gabriel Graph framework that is also presented. The study of margin probabilities in Gabriel Graph has also led to a stochastic formulation of the Gabriel Graph that has, in itself, great value.

Abstract

Inicialmente, o Aumento de Dados era visto mais como uma ferramenta do que uma linha de pesquisa, propriamente, e era empregado de forma essencialmente empírica. Transformações geométricas e fotométricas gerais eram aplicadas a conjuntos de dados, sem grande consideração pelo processo de aumento. Posteriormente, um interesse por rotinas de Aumento de Dados mais eficientes levou à proposta de novas técnicas. Tais técnicas resultaram em ganhos de desempenho e foram focadas em novas formas de geração de novos dados. Modelos generativos e estratégias automatizadas de seleção de transformações foram empregadas com sucesso. A estrutura dos dados, no entanto, permanece por ser explorada. Um conceito conhecido na literatura de Aprendizado de Máquinas, diz respeito ao diferente impacto de diferentes amostras em modelos discriminativos, princípio explorado em técnicas como Boosting e Máquinas de Vetor de Suporte. Amostras de difícil classificação e aquelas próximas da superfície de decisão são cruciais para a construção de um bom modelo. Este trabalho propõe estratégias para a seleção de amostras para Aumento de Dados, que podem ser aplicadas de forma confiável e razoável a grandes conjuntos de dados, pois são velozes, escaláveis e envolvem poucos hiperparâmetros. A confiabilidade é apresentada com um estudo formal de efeitos na margem de separação, com o auxílio de uma estrutura baseada no Grafo de Gabriel. O estudo de probabilidades na margem em um Grafo de Gabriel levou ao desenvolvimento de uma formulação estocástica para o Grafo que tem, em si mesma, grande valor.

Assunto

Engenharia elétrica, Redes neurais (Computação), Álgebra booleana, Aprendizado do computador, Modelos matemáticos

Palavras-chave

Neural networks, Gabriel Graph, Boolean space, Data augmentation

Citação

Endereço externo

Avaliação

Revisão

Suplementado Por

Referenciado Por