Sample selection strategies for data augmentation with Gabriel Graph margin interpretation
Carregando...
Arquivos
Data
Autor(es)
Título da Revista
ISSN da Revista
Título de Volume
Editor
Universidade Federal de Minas Gerais
Descrição
Tipo
Tese de doutorado
Título alternativo
Primeiro orientador
Membros da banca
Frederico Gualberto Ferreira Coelho
Gustavo Matheus de Almeida
Carlos Eduardo Ribeiro de Mello
Raul Fonseca Neto
Saulo Moraes Villela
Gustavo Matheus de Almeida
Carlos Eduardo Ribeiro de Mello
Raul Fonseca Neto
Saulo Moraes Villela
Resumo
At first, Data Augmentation was viewed more as a tool than a research line, and it was employed in a very empirical way. General geometric and photometric transformations were applied to datasets with little regard to the augmentation process. Later, an interest for more effective Data Augmentation routines started to develop and new techniques were proposed. These new techniques led to an improvement in performance and focused mainly in finding new ways to generate data. Generative models and automated strategies that optimized the choices of transformations were employed with success. Data structure, however, remains to be explored. It is well known in Machine Learning literature that different samples have a different impact in discriminative models, a concept that is explored by state of the art techniques such as Boosted Trees and Support Vector Machines. Samples that are harder to classify or those that are closer to the decision boundary are crucial to the construction of a good model. This work proposes a strategy for selecting samples for Data Augmentation that can be reliably and reasonably applied to large datasets, as it is scalable, fast and involves few user defined parameters. Reliability is shown with a formal study of margin effects by means of a Gabriel Graph framework that is also presented. The study of margin probabilities in Gabriel Graph has also led to a stochastic formulation of the Gabriel Graph that has, in itself, great value.
Abstract
Inicialmente, o Aumento de Dados era visto mais como uma ferramenta do que uma linha de pesquisa, propriamente, e era empregado de forma essencialmente empírica. Transformações geométricas e fotométricas gerais eram aplicadas a conjuntos de dados, sem grande consideração pelo processo de aumento. Posteriormente, um interesse por rotinas de Aumento de Dados mais eficientes levou à proposta de novas técnicas. Tais técnicas resultaram em ganhos de desempenho e foram focadas em novas formas de geração de novos dados. Modelos generativos e estratégias automatizadas de seleção de transformações foram empregadas com sucesso. A estrutura dos dados, no entanto, permanece por ser explorada. Um conceito conhecido na literatura de Aprendizado de Máquinas, diz respeito ao diferente impacto de diferentes amostras em modelos discriminativos, princípio explorado em técnicas como Boosting e Máquinas de Vetor de Suporte. Amostras de difícil classificação e aquelas próximas da superfície de decisão são cruciais para a construção de um bom modelo. Este trabalho propõe estratégias para a seleção de amostras para Aumento de Dados, que podem ser aplicadas de forma confiável e razoável a grandes conjuntos de dados, pois são velozes, escaláveis e envolvem poucos hiperparâmetros. A confiabilidade é apresentada com um estudo formal de efeitos na margem de separação, com o auxílio de uma estrutura baseada no Grafo de Gabriel. O estudo de probabilidades na margem em um Grafo de Gabriel levou ao desenvolvimento de uma formulação estocástica para o Grafo que tem, em si mesma, grande valor.
Assunto
Engenharia elétrica, Redes neurais (Computação), Álgebra booleana, Aprendizado do computador, Modelos matemáticos
Palavras-chave
Neural networks, Gabriel Graph, Boolean space, Data augmentation