Image representation learning through genetic quantization

Abstract

Representações de imagens crucial importância crucial em sistemas de visão computa- cional pois codificam a informação intrínseca aos pixels e suas relações de uma maneira computacionalmente tratável, permitindo aos algoritmos aprender sobre o conteúdo visual das imagens e tomar decisões a partir disso. O aprendizado de representação de imagens visa fornecer um processo automatizado para a composição das repre- sentações otimizadas à uma dada tarefa de visão computacional. O estado-da-arte dessa área de pesquisa - que são as técnicas baseadas em Deep Learning - alcançou, nos últimos anos, grandes avanços na solução de problemas estudados há várias décadas pela comunidade de Inteligência Artificial e bateu recordes em diversas tarefas de reconhecimento de padrões. No entanto, essas técnicas geralmente apresentam alta complexidade computacional e demandam uma grande quantidade de recursos como memória de armazenamento, memória de trabalho, capacidade computacional e energia. Além disso, elas comumente requerem grandes conjuntos de dados rotulados a fim de produzir modelos eficazes. Motivados por essas desvantagens, combinamos três pilares para produzir representações com consumo eficiente de recursos: aprendizagem incremental, que otimiza representações sem construí-las do zero, evitando alta complexidade e grande consumo de recursos; algoritmos evolutivos, que fornecem uma otimização escalável, uma cobertura eficiente do espaço de busca e fácil adequação a problemas de otimização combinatória; e otimização de quantização, que é capaz de promover compactação sem reduzir o número de parâmetros. Nós abordamos duas classes essenciais do aprendizado de representações de imagens: representações shallow e deep. No estudo da primeira classe, propomos a otimização de representações shallow e introduzimos uma abordagem baseada em Algoritmo Genético que otimiza a quantização de cores de representações desenhadas manualmente para maior compactação e eficácia na tarefa executada. Avaliamos esta metodologia em tarefas de recuperação de imagens baseadas em conteúdo e obtivemos representações de tamanho menor com precisão significativamente melhor além de superar metodologias baseadas em Deep Learning. No estudo da segunda classe, estudamos a otimização de representações deep através de uma tarefa de compressão de redes neurais artificiais e propomos um método de quantização de precisão mista pós-treinamento para otimizar os pesos e ativações de modelos convolucionais usando uma busca baseada em Algoritmo Genético multi-objetivo. Avaliamos esta metodologia na tarefa de classificação de imagens us- ando o dataset Imagenet e obtivemos compressão com baixa perda de precisão através da quantização pós-treinamento. Os resultados sugerem que a otimização usando Algo- ritmo Genético é uma abordagem promissora para futuras metodologias apresentando um aprendizado de representações altamente eficaz e com consumo eficiente de recursos.