Please use this identifier to cite or link to this item:
http://hdl.handle.net/1843/41682
Type: | Dissertação |
Title: | Image representation learning through genetic quantization |
Other Titles: | Aprendizado de representações de imagens usando quantização genética |
Authors: | Érico Marco Dias Alves Pereira |
First Advisor: | Jefersson Alex dos Santos |
First Referee: | Ricardo da Silva Torres |
Second Referee: | Jurandy Almeida |
Third Referee: | Gisele Lobo Pappa |
Abstract: | Image representations have crucial importance in computer vision systems as they encode the pixels inner and relational information in a computationally tractable form, allowing algorithms to reason about the visual content and take decisions about it. Image representation learning aims to provide an automatized process for composing the most appropriate representations for a given computer vision task. The state-of-the-art of this research area - Deep Learning-based techniques - has achieved, in recent years, major advances in solving problems studied for decades by the Artificial Intelligence community and beat records in several pattern-recognition tasks. However, they usually present high computational complexity and demand a huge amount of resources such as storage memory, working memory, computational power, and energy consumption. Furthermore, they typically require large sets of labeled data to produce effective models. Motivated by these disadvantages, we combine three factors in order to pro- duce resource-efficient representations: incremental learning, that optimizes representations without constructing them from scratch avoiding complexity and high resource consumption; evolutionary algorithms, which provides scalable optimization, efficient search-space cover, and natural suitability for combinatorial problems; and quantization optimization, which often provides compaction without reducing the number of parameters. We address two important branches of image representation learning: shallow and deep representations. Regarding the former, we propose the optimization of shallow representations and introduce a Genetic-Algorithm based approach that optimizes the color-quantization of feature-engineered representations for improved ef- fectiveness and compactness. We evaluated this methodology in content-based image retrieval tasks and obtained representations with significantly improved precision and reduced size besides surpassing deep-learning-based baselines. Regarding the latter, we study the optimization of deep representations through model compression and pro- pose a post-training mixed-precision quantization method to optimize the weights and activations of convolutional neural models using a multi-objective Genetic-Algorithm search. We evaluated this methodology in image classification using Imagenet dataset and obtained compression in post-training quantization with small accuracy drops. Results confirm Genetic Algorithm optimization as a promising approach for highly effective and resource-efficient learning in future methodologies. |
Abstract: | Representações de imagens crucial importância crucial em sistemas de visão computa- cional pois codificam a informação intrínseca aos pixels e suas relações de uma maneira computacionalmente tratável, permitindo aos algoritmos aprender sobre o conteúdo visual das imagens e tomar decisões a partir disso. O aprendizado de representação de imagens visa fornecer um processo automatizado para a composição das repre- sentações otimizadas à uma dada tarefa de visão computacional. O estado-da-arte dessa área de pesquisa - que são as técnicas baseadas em Deep Learning - alcançou, nos últimos anos, grandes avanços na solução de problemas estudados há várias décadas pela comunidade de Inteligência Artificial e bateu recordes em diversas tarefas de reconhecimento de padrões. No entanto, essas técnicas geralmente apresentam alta complexidade computacional e demandam uma grande quantidade de recursos como memória de armazenamento, memória de trabalho, capacidade computacional e energia. Além disso, elas comumente requerem grandes conjuntos de dados rotulados a fim de produzir modelos eficazes. Motivados por essas desvantagens, combinamos três pilares para produzir representações com consumo eficiente de recursos: aprendizagem incremental, que otimiza representações sem construí-las do zero, evitando alta complexidade e grande consumo de recursos; algoritmos evolutivos, que fornecem uma otimização escalável, uma cobertura eficiente do espaço de busca e fácil adequação a problemas de otimização combinatória; e otimização de quantização, que é capaz de promover compactação sem reduzir o número de parâmetros. Nós abordamos duas classes essenciais do aprendizado de representações de imagens: representações shallow e deep. No estudo da primeira classe, propomos a otimização de representações shallow e introduzimos uma abordagem baseada em Algoritmo Genético que otimiza a quantização de cores de representações desenhadas manualmente para maior compactação e eficácia na tarefa executada. Avaliamos esta metodologia em tarefas de recuperação de imagens baseadas em conteúdo e obtivemos representações de tamanho menor com precisão significativamente melhor além de superar metodologias baseadas em Deep Learning. No estudo da segunda classe, estudamos a otimização de representações deep através de uma tarefa de compressão de redes neurais artificiais e propomos um método de quantização de precisão mista pós-treinamento para otimizar os pesos e ativações de modelos convolucionais usando uma busca baseada em Algoritmo Genético multi-objetivo. Avaliamos esta metodologia na tarefa de classificação de imagens us- ando o dataset Imagenet e obtivemos compressão com baixa perda de precisão através da quantização pós-treinamento. Os resultados sugerem que a otimização usando Algo- ritmo Genético é uma abordagem promissora para futuras metodologias apresentando um aprendizado de representações altamente eficaz e com consumo eficiente de recursos. |
Subject: | Computação – Teses Aprendizado de representação – Teses Algoritmos evolucionários – Teses Algoritmos genéticos – Teses Recuperação de imagens baseada em conteúdo– Teses |
language: | eng |
metadata.dc.publisher.country: | Brasil |
Publisher: | Universidade Federal de Minas Gerais |
Publisher Initials: | UFMG |
metadata.dc.publisher.department: | ICX - DEPARTAMENTO DE CIÊNCIA DA COMPUTAÇÃO |
metadata.dc.publisher.program: | Programa de Pós-Graduação em Ciência da Computação |
Rights: | Acesso Aberto |
metadata.dc.rights.uri: | http://creativecommons.org/licenses/by-nc-nd/3.0/pt/ |
URI: | http://hdl.handle.net/1843/41682 |
Issue Date: | 12-Jan-2021 |
Appears in Collections: | Dissertações de Mestrado |
Files in This Item:
File | Description | Size | Format | |
---|---|---|---|---|
_Reformated__EricoPereira_Masters_Dissertation.pdf | Dissertação de Mestrado | 14.93 MB | Adobe PDF | View/Open |
This item is licensed under a Creative Commons License