Please use this identifier to cite or link to this item:
http://hdl.handle.net/1843/34969
Type: | Tese |
Title: | Descrição semântica de objetos em imagens baseada na Teoria dos Protótipos |
Other Titles: | Semantic description of objects in images based on Prototype Theory |
Authors: | Omar Vidal Pino |
First Advisor: | Mario Fernando Montenegro Campos |
First Co-advisor: | Erickson Rangel do Nascimento |
First Referee: | Anderson de Rezende Rocha |
Second Referee: | Wagner Meira Junior |
Third Referee: | Renato José Martins |
metadata.dc.contributor.referee4: | Luiz Chaimowicz |
Abstract: | Esta pesquisa tem como objetivo propor um modelo para a descrição semântica das características de objetos a partir de imagens. Apresenta-se uma nova abordagem de descrição semântica de objetos fundamentada na Teoria dos Protótipos. Propõe-se o Modelo Computacional do Protótipo (CPM) para codificar e armazenar o significado semântico central (protótipo semântico) das categorias de objetos. O modelo CPM é utilizado para representar e construir os protótipos semânticos das categorias de objetos usando as Redes Neuronais Convolucionais (CNN). Propõe-se um Modelo de Descrição Semântica baseado em Protótipos que usa o modelo CPM proposto para descrever objetos de maneira a destacar as características que os distinguem dentro de uma categoria.O Descritor Semântico Global proposto (GSDP) constrói assinaturas discriminativas, de baixa dimensionalidade, interpretáveis e que codificam a informação semântica dos objetos por meio dos protótipos semânticos construídos. O descritor semântico GSDP usa a Camada de Similaridade Prototípica (PS-Layer) proposta para recuperar o protótipo correspondente à categoria de interesse usando o princípio de categorização baseado em protótipos. Os experimentos realizados utilizando conjuntos de dados de domínio público mostraram que: i) o modelo CPM proposto simula adequadamente a estrutura interna das categorias; ii) a métrica de distância proposta apresenta poder expressivo para capturar a tipicidade do objeto dentro da categoria; iii) a classificação semântica baseada em protótipos pode melhorar o desempenho dos modelos CNN de classificação; iv) a codificação do descritor semântico proposto é semanticamente interpretável e supera significativamente em desempenho outras codificações globais de imagem em tarefas de agrupamento e classificação. |
Abstract: | This research aims to build a model for semantic description of objects based on features detected in images. We introduce a novel semantic description approach inspired on the Prototype Theory foundations. Inspired by the human approach used for representing categories, we propose a novel Computational Prototype Model (CPM) that encodes and stores the central semantic meaning of the object’s category: the semantic prototype. Our CPM model is used to represent and construct the semantic prototypes of object categories using Convolutional Neural Networks (CNN). The proposed Prototype-based Description Model uses the CPM model to describe an object highlighting its most distinctive features within the category. Our Global Semantic Descriptor (GSDP) builds discriminative, low-dimensional and semantically interpretable signatures that encode the semantic information of the objects using the constructed semantic prototypes. Our semantic descriptor use the proposed Prototypical Similarity Layer (PS-Layer) to retrieves the category prototype using the principle of categorization based on prototypes. In our experiments, using publicly available datasets, we show that: i) the proposed CPM model adequately simulates the internal semantic structure of the categories; ii) the proposed semantic distance metric can be understood as the object typicality score within a category; iii) our semantic classification method based on prototypes can improve the performance and interpretation of CNN classification models; iv) our semantic descriptor encoding ignificantly outperforms others state-of-the-art image global encoding in clustering and classification tasks. |
Subject: | Computação – Teses Teoria dos protótipos – Teses Aprendizado profundo – Teses Visão computacional – Teses |
language: | por |
metadata.dc.publisher.country: | Brasil |
Publisher: | Universidade Federal de Minas Gerais |
Publisher Initials: | UFMG |
metadata.dc.publisher.department: | ICX - DEPARTAMENTO DE CIÊNCIA DA COMPUTAÇÃO |
metadata.dc.publisher.program: | Programa de Pós-Graduação em Ciência da Computação |
Rights: | Acesso Aberto |
metadata.dc.rights.uri: | http://creativecommons.org/licenses/by-nc-nd/3.0/pt/ |
URI: | http://hdl.handle.net/1843/34969 |
Issue Date: | 10-Feb-2020 |
Appears in Collections: | Teses de Doutorado |
Files in This Item:
File | Description | Size | Format | |
---|---|---|---|---|
PhDThesis_DCC2020_OmarVidalPino_library.pdf | PhD Thesis - Omar Vidal Pino - UFMG/ ICEX/ DCC - 2020 | 78.56 MB | Adobe PDF | View/Open |
This item is licensed under a Creative Commons License